Docker------Cgroup

最新推荐文章于 2023-07-21 10:52:42 发布
最新推荐文章于 2023-07-21 10:52:42 发布
阅读量245 收藏 1
点赞数 4
分类专栏： docker 文章标签： docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IvyXYW/article/details/115323585
版权

Cgroup

应用程序、进程、线程的区别

多线程为避免数据混乱会添加线程锁

cpu在一个时刻只能给一个进程提供算例，3.5GHZ表示频率

CPU-时间

内存-容量

磁盘-单位时间内读写次数/数据量

Cgroup资源配置方法

Docker通过Cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。
Cgroup是Control Groups的缩写，是Linux内核提供的一种可以限制、 记录、隔离进程组所使用的物理资源(如CPU、 内存、磁盘IO等等)的机制，被LXC、docker 等很多项目用于实现进程资源控制。
Cgroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理是通过该功能来实现的

Cgroup子系统

这些具体的资源管理功能称为Cgroup子系统，有以下几大子系统实现：

Cgroup子系统作用
blkio设置限制每个块设备的输入输出控制，例如：磁盘、光盘、usb等等
CPU使用调度程序为cgroup任务提供CPU的访问
cpuacct产生cgroup任务的CPU资源报告
cpuset如果是多核心的CPU，这个子系统会为cgroup任务分配单独的CPU和内存
devices允许或拒绝cgroup任务对设备的访问
freezer暂停和恢复cgroup任务
memory设置每个cgroup的内存限制以及产生内存资源报告
net_cls标记每个网络包以供cgroup方便使用
ns命名空间子系统
perf_event增加了对每个group的检测跟踪能力，可以检测属于某个特定的group的所有线程以及运行在特定CPU上的线程

stress压力测试工具来测试

下面开始利用stress压力测试工具来测试CPU和内存使用状况。
使用stress工具测试CPU和内存
使用Dockerfile来创建一个基于Centos的stress工具镜像。

[root@localhost ~]#mkdir /opt/stress
[root@localhost ~]#cd /opt/stress/
[root@localhost stress]#ls
[root@localhost stress]#vim Dockerfile


FROM centos:7
MAINTAINER xyw
RUN yum install -y wget			#在容器内部做yum在线源
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum -y install stress		#stress本地源可能没有

[root@localhost stress]#docker build -t stress:centos .

docker images 
REPOSITORY   TAG       IMAGE ID       CREATED         SIZE
stress       centos    89673db9f263   7 minutes ago   456MB
centos       7         8652b9f0cb4c   4 months ago    204MB

使用如下命令创建容器，命令中的–cpu-shares 参数值不能保证可以获得1个vcpu或者多少GHz的CPU资源，它仅是一个弹性的加权值。

[root@localhost stress]# docker run -itd --cpu-shares 100 centos:stress

[root@localhost stress]#docker run -itd --cpu-shares 100 stress:centos 
9a91207b5bcb00ca25520d49a6abaee28cddd1ba9b74b4c7e3f43a08a6266ee4
[root@localhost stress]#docker ps -a
CONTAINER ID   IMAGE           COMMAND       CREATED         STATUS         PORTS     NAMES
9a91207b5bcb   stress:centos   "/bin/bash"   7 seconds ago   Up 6 seconds             nervous_knuth

说明：默认情况下，每个Docker容器的CPU份额都是1024。 单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的CPU加权的效果才能体现出来。
例如，两个容器A、B的CPU份额分别为1000和500， 在CPU进行时间片分配的时候，容器A比容器B多一倍的机会获得CPU的时间片。
但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器A一定能获得CPU时间片。比如容器A的进程一 直是空闲的，那么容器B是可以获取比容器A更多的CPU时间片的。极端情况下，例如主机上只运行了一个容器，即使它的CPU份额只有50， 它也可以独占整个主机的CPU资源。

Cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它，
资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。
可以通过cpu share可以设置容器使用CPU的优先级，比如启动了两个容器及运行查看CPU使用百分比。

[root@localhost stress]# docker run -itd --name cpu512 --cpu-shares 512 stress:centos stress -c 10									#容器产生10个子函数进程
[root@localhost stress]#docker ps -a
CONTAINER ID   IMAGE           COMMAND          CREATED              STATUS              PORTS     NAMES
9551fb599706   stress:centos   "stress -c 10"   About a minute ago   Up About a minute             cpu512
9a91207b5bcb   stress:centos   "/bin/bash"      23 minutes ago       Up 23 minutes                 nervous_knuth

[root@localhost stress]# docker exec -it 9551fb599706 bash		#进入容器使用top查看cpu使用情况

#再开启一个容器做比较
[root@localhost stress]# docker run -tid --name cpu1024 --cpu-shares 1024 stress:centos stress -c 10
[root@localhost stress]# docker ps -a
CONTAINER ID   IMAGE           COMMAND          CREATED          STATUS          PORTS     NAMES
b1d8bdd0e586   stress:centos   "stress -c 10"   6 seconds ago    Up 5 seconds              cpu1024
9551fb599706   stress:centos   "stress -c 10"   5 minutes ago    Up 5 minutes              cpu512
9a91207b5bcb   stress:centos   "/bin/bash"      27 minutes ago   Up 27 minutes             nervous_knuth
[root@localhost stress]# docker exec -it b1d8bdd0e586 bash		#进容器使用top对比两个容器的%CPU，比例是1：2

在这里插入图片描述
在这里插入图片描述

CPU周期限制

Docker提供了–cpu-period、–cpu-quota两个参数控制容器可以分配到的CPU时钟周期。

–cpu-period 是用来指定容器对CPU的使用要在多长时间内做一 次重新分配。
–cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。

–cpu-quota是–cpu-period的倍数时，使用多个CPU，即叠加状态

与–cpu-shares不同的是，这种配置是指定一个绝对值，容器对CPU资源的使用绝对不会超过配置的值。

cpu-period和cpu-quota的单位为微秒(μs)。cpu-period的最小值为1000微秒，最大值为1秒(10^6 μs) ，默认值为0.1秒(100000 μs) 。
cpu-quota的值默认为-1， 表示不做控制。cpu-period和cpu-quota参数一般联合使用。

例如：容器进程需要每1秒使用单个CPU的0.2秒时间，可以将cpu-period设置为1000000 (即1秒)，cpu-quota设置为200000 (0.2秒)。
当然，在多核情况下，如果允许容器进程完全占用两个CPU，则可以将cpu-period设置为100000 (即0.1秒)，cpu-quota设置为200000 (0.2秒)。

[root@localhost stress]# docker run -itd --cpu-period 100000 --cpu-quota 200000 stress:centos 					#使用双核，占用两个cpu，设置period为100000（0.1秒），quota为200000（0.2秒）
[root@localhost stress]#docker ps -a
CONTAINER ID   IMAGE           COMMAND       CREATED          STATUS          PORTS     NAMES
dd04674fa6ed   stress:centos   "/bin/bash"   35 seconds ago   Up 35 seconds             priceless_jepsen

[root@localhost stress]#docker exec -it dd04674fa6ed bash

[root@dd04674fa6ed /]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us 
100000
[root@dd04674fa6ed /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us  
200000

CPU Core控制

对多核CPU的服务器，Docker 还可以控制容器运行使用哪些CPU内核，即使用–cpuset-cpus 参数。
这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。

[root@localhost stress]# docker run -itd --name cpu1 --cpuset-cpus 0-1 stress:centos 
[root@localhost stress]#docker ps -a
CONTAINER ID   IMAGE           COMMAND       CREATED         STATUS         PORTS     NAMES
ea2dc5f05d7d   stress:centos   "/bin/bash"   6 seconds ago   Up 6 seconds             cpu1

执行以上命令需要宿主机为双核，表示创建的容器只能用0、1两个内核。最终生成的cgroup的CPU内核配置如下：

[root@localhost stress]# docker exec -it ea2dc5f05d7d bash
[root@631eea630b21 /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus
0-1

通过下面指令可以看到容器中进程与CPU内核的绑定关系，达到绑定CPU内核的目的。

[root@localhost stress]# docker exec ea2dc5f05d7d taskset -c -p 1		#容器内部第一个进程号pid为1被绑定到指定CPU上运行
pid 1's current affinity list: 0,1

CPU配额控制参数的混合使用

通过cpuset-cpus参数指定容器A使用CPU内核0，容器B只是用CPU内核1。
在主机上只有这两个容器使用对应CPU内核的情况，它们各自占用全部的内核资源，cpu-shares 没有明显效果。
cpuset-cpus、cpuset-mems 参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。
在系统具有多个CPU内核的情况下，需要通过cpuset-cpus参数为设置容器CPU内核才能方便地进行测试。

//宿主系统修改为4核心CPU
[root@localhost stress]# docker run -itd --name cpu3 --cpuset-cpus 2 --cpu-shares 512 stress:centos stress -c 1					#--cpuset-cpus 2：2是cpu编号，不是数量
[root@localhost stress]# docker exec -it 84598dfadd34 bash
[root@localhost stress]# exit

[root@localhost stress]# docker run -itd --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 stress:centos stress -c 1
[root@localhost stress]# top 				#记住按1查看每个核心的占用
top - 16:21:34 up  2:23,  7 users,  load average: 2.00, 1.47, 1.07
Tasks: 239 total,   3 running, 236 sleeping,   0 stopped,   0 zombie
%Cpu0  :  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu1  :  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu2  :100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu3  :100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu4  :  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu5  :  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  7994076 total,  4836824 free,  1022452 used,  2134800 buff/cache
KiB Swap: 10485756 total, 10485756 free,        0 used.  6538268 avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                
 55773 root      20   0    7312     96      0 R 100.0  0.0   9:29.42 stress                 
 56241 root      20   0    7312    100      0 R 100.0  0.0   4:38.16 stress                 

[root@localhost stress]#docker ps -a
CONTAINER ID   IMAGE           COMMAND         CREATED          STATUS          PORTS     NAMES
7f93c9c274f1   stress:centos   "stress -c 1"   5 minutes ago    Up 5 minutes              cpu4
e186f92d61db   stress:centos   "stress -c 1"   10 minutes ago   Up 10 minutes             cpu3
f137ae0e6030   stress:centos   "/bin/bash"     14 minutes ago   Up 14 minutes             cpu1

[root@localhost stress]# docker exec -it 7f93c9c274f1 bash

在这里插入图片描述

总结：上面的cents:stress镜像安装了stress工具，用来测试CPU和内存的负载。通过在两个容器上分别执行stress -c 1命令，将会给系统一个随机负载，产生1个进程。这个进程都反复不停的计算由rand（）产生随机数的平方根，直到资源耗尽。
观察到宿主机上的CPU使用率，第三个内核的使用率接近100%，并且一批进程的CPU使用率明显存在2:1的使用比例的对比。

内存限额

与操作系统类似，容器可使用的内存包括两部分：物理内存和Swap。
Docker通过下面两组参数来控制容器内存的使用量。
-m或–memory：设置（物理）内存的使用限额，例如100M、 1024M.
–memory-swap： 设置内存+ swap的使用限额。
执行如下命令允许该容器最多使用200M的内存和300M的swap。

[root@localhost stress]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
--vm 1：启动1个内存工作线程。
--vm-bytes 280M： 每个线程分配280M内存。

默认情况下，容器可以使用主机上的所有空闲内存。
与CPU的cgroups配置类似，Docker 会自动为容器在目录/sys/fs/cgroup/memory/docker/<容器的完整长ID>中创建相应cgroup配置文件
如果让工作线程分配的内存超过300M(小于300，取不到300)，分配的内存超过限额，stress 线程报错，容器退出。

[root@localhost stress]#docker run -it -m 200M --memory-swap=300M  progrium/stress --vm 1 --vm-bytes 310M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [7] forked
stress: dbug: [7] allocating 325058560 bytes ...
stress: dbug: [7] touching bytes in strides of 4096 bytes ...
stress: FAIL: [1] (416) <-- worker 7 got signal 9
stress: WARN: [1] (418) now reaping child worker processes
stress: FAIL: [1] (422) kill error: No such process
stress: FAIL: [1] (452) failed run completed in 1s

Block IO的限制

默认情况下，所有容器能平等地读写磁盘，可以通过设置–blkio-weight参数来改变容器block 10的优先级。
–blkio-weight与–cpu-shares类似，设置的是相对权重值，默认为500。
在下面的例子中，容器A读写磁盘的带宽是容器B的两倍。

[root@localhost stress]#docker run -it --name container_A --blkio-weight 600 stress:centos 
[root@80ce8ff3a3f1 /]# cat /sys/fs/cgroup/blkio/blkio.weight
600

[root@localhost stress]#docker run -it --name container_B --blkio-weight 300 stress:centos 
[root@4fdd938255b2 /]# cat /sys/fs/cgroup/blkio/blkio.weight
300

bps和iops的限制

bps是byte per second，每秒读写的数据量。
iops是io per second，每秒10的次数。
可通过以下参数控制容器的bps和iops：

–device-read-bps， 限制读某个设备的bps。
–device-write-bps， 限制写某个设备的bps.
–device-read-iops， 限制读某个设备的iops.
–device-write-iops， 限制写某个设备的iops。

下面的示例是限制容器写/dev/sda的速率为5 MB/s。

[root@localhost docker]# docker run -it --device-write-bps /dev/sda:5MB stress:centos
[root@96a5d7c68b96 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct //可以按ctrl+ c中断查看
51+0 records in
51+0 records out
53477376 bytes (53 MB) copied, 10.2015 s, 5.2 MB/s

通过dd命令测试在容器中写磁盘的速度。因为容器的文件系统是在host /dev/sda上的，
在容器中写文件相当于对host /dev/sda进行写操作。另外，oflag=direct 指定用direct 10方式写文件，这样–device-write-bps才能生效。
结果表明限速5MB/s左右。作为对比测试，如果不限速，结果如下。

[root@localhost stress]# docker run -it stress:centos 
[root@85ca596f23e3 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.926803 s, 1.2 GB/s
这闺女长得真俊啊
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Docker-Cgroup-Doc
07-09
#Docker 和 Cgroup 文档以创建自定义和自适应容器 使用 docker 限制网络带宽 容器创建： sudo docker run --cap-add=...
Docker Cgroup资源配置操作
愿你成为自己喜欢的模样，不抱怨，不将就，有自由，有光芒！
03-30 2777
文章目录一、Cgroup二、使用stress工具测试1、权重 -cpu-shares2、CPU周期限制 --cpu-period、--cpu-quota3、CPU Core控制 --cpuset-spus三、CPU配额控制参数的混合使用四、内存限额 一、Cgroup Docker通过Cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制 Cgroup是Control Groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源（
cgroup使用
weixin_34335458的博客
11-24 228
cgroup介绍：全名为contorl group,即进程组的行为控制，它会通过对子系统配置文件的读写完成对进程及其后续的子进程组资源的控制安装:Yum install libcgroup –y服务名:Cgconfig/etc/init.d/cgconfig start默认路径:/cgroup配置文件路劲:/etc/cgconfig子系统:Blkio cpu cpua...
Cgroup(cgroup使用)
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
02-25 186
直接删除了层次结构的目录怎么？cgroup没有正确umount， 君不见，黄河之水天上来，奔流到海不复回。 直接删除了层次结构的目录怎么？cgroup没有正确umount， 君不见，黄河之水天上来，奔流到海不复回。 GPSvcGroup是什么东西? GPSvcGroup 微软软件授权服务 是安全的服务可以私聊我~...
CGroup的原理和使用
m0_72502585的博客
11-24 1352
Cgroup概述
linux中cgroup的简单使用
最新发布
Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流
07-21 2722
Linux CGroup全称Linux Control Group， 是Linux内核的一个功能，用来限制，控制与分离一个进程组群的资源（如CPU、内存、磁盘输入输出等）。这个项目最早是由Google的工程师在2006年发起（主要是Paul Menage和Rohit Seth），最早的名称为进程容器（process containers）。在2007年时，因为在Linux内核中，容器（container）这个名词太过广泛，为避免混乱，被重命名为cgroup，并且被合并到2.6.24版的内核中去。
docker-metrics-to-consul
07-11
Consul 的 Docker 指标Docker 指标通过 Fluentd 存储到 Consul 的键/值存储。启动容器 $docker run -d \ -v /var/run/docker.sock:/var/run/docker.sock \ -v /sys/fs/cgroup/:/sys/fs/cgroup:ro \ -e CONSUL_URI=...
docker-introspection:Docker 自省 HTTP 服务器
07-12
从容器内，获取容器 id，然后使用curl获取信息： CONTAINER_ID=$(cat /proc/self/cgroup |grep cpu:| sed -r 's#.*docker/(.{12}).*#\1#'­)# For v1.5 # CONTAINER_ID=$(cat /proc/self/cgroup | grep -w cpu | ...
rpi-datadog-agent:手臂设备上的datadog代理的docker-image
04-29
docker run -d --name dd-agent -h `hostname` -v /var/run/docker.sock:/var/run/docker.sock -v /proc/:/host/proc/:ro -v /sys/fs/cgroup/:/host/sys/fs/cgroup:ro -e API_KEY={your_api_key_here} datadog/...
docker1.7.1.zip
05-29
docker-io-1.7.1-2.el6.x86_64.rpm及其它离线所需安装包 如果可以联网，可以直接用yum安装 yum -y install -y epel-release yum -y install device-mapper-event-libs ...none /sys/fs/cgroup cgroup defaults 0 0
如何使用cgroup
沈老白专栏
01-24 594
http://tiewei.github.io/devops/howto-use-cgroup/
Linux内核cgroup使用介绍
hzz812503533的博客
02-02 1158
cgroups机制
【CGroup原理篇】3. CGroup使用指南
从0到1，突破自己
04-05 2707
写在前面 这里先从整体上概述cgroup的创建，挂载，参数配置和卸载，后面的章节中会一一介绍每个子系统的详细使用方法和使用案例。 一、使用Linux命令管理CGroup 1.1挂载cgroup临时文件系统 mount -t tmpfs cgroup_root /sys/fs/cgroup 1.2 创建挂载层级需要的目录 mkdir /sys/fs/cgroup/cpuset 1.3 挂载子系统cpuset到 mount -t cgroup -ocpuset cpuset.
【收藏】cgroup的简单使用
学亮编程手记
07-12 416
#创建设置small组策略 4核 cgcreate -g cpuset:small cgset -r cpuset.cpus=0-3 small cgset -r cpuset.mems=0 small #创建设置large组策略 8核 cgcreate -g cpuset:large cgset -r cpuset.cpus=0-7 large cgset -r cpuset.mems=0 large https://www.cnblogs.com/llwxhn/p/12558577.html .
cgroup从入门到懵圈——cgroup使用举例
热门推荐
Take Easy，Work Hard！
06-27 1万+
1 基本用法 通过cgroup虚拟文件系统可以创建，修改，使用cgroup。 挂载一个关联所有子系统的cgroup 层级树可以使用以下命令： mount -t cgroup xxx /sys/fs/cgroup xxx不会被cgroup的代码处理，但是会呈现到/proc/mounts或者mount命令输出中。 注意：有些子系统在用户配置之前...
cgroup使用举例和linux内核源码详解
dongzhiyan_hjp
07-11 4031
cgroup的原理其实并不复杂，用法也比较简单。但是涉及的内核数据结构真的复杂，错综复杂的数据结构感觉才是cgroup真正的难点。本文结合个人学习cgroup源码的心得，尽可能以举例的形式，总结cgroup整体框架和核心源码实现，尽可能少贴源码。本次是在centos 7.6测试的cgroup，源码注释基于3.10.96。 这里先把cgroup涉及的各个数据结构的关系图发下，后边需要多次用到这幅图。 转存失败重新上传取消转存失败重新上传取消转存失败重新上传取消转存失败重新上传取消转存...
group在C语言,怎样使用cgroup
weixin_30783947的博客
05-23 362
where to find cgroups documentif you are not familier with cgroup conception,special nouns,you d betterread these documents first.the kernel documentinstallyum install kernel-docthen go to/usr/share/d...
Linux中的cgroup功能
读芯术
11-28 392
1. 概念 Cgroups，其名称源自控制组群（control groups）的简写，是Linux内核的一个功能，用来限制、控制与分离一个进程组的资源（如CPU、内存、磁盘输入输出等）。 #.参考资料 Cgroup ...
Cgroup 资源配置方法
小杨博客 学习交流
10-24 2255
cgroups是一个非常强大的linux内核工具。他不仅可以现在被namespace隔离起来的资源，还可以为资源设置权重，计算使用量，控制进程启停等等，所以cgroups实现了对资源的配额和度量
Error: Package: docker-ce-18.03.1.ce-1.el7.centos.x86_64 (docker-ce-stable) Requires: libcgroup
06-12
这个错误信息表示在安装 `docker-ce-18.03.1.ce-1.el7.centos.x86_64` 时，发现缺少一个叫做 `libcgroup` 的依赖包。`libcgroup` 是一个用于控制和监控 Linux 控制组（cgroup）的库。为了解决这个错误，您需要安装 `...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值