cgroup--blkio子系统测试-1（throttle测试)

最新推荐文章于 2023-06-21 18:31:35 发布
最新推荐文章于 2023-06-21 18:31:35 发布
阅读量6.6k 收藏 5
点赞数 1
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XscKernel/article/details/12197287
版权

1  限制块设备读速率：

首先内核配置必须要满足如下要求：

- Enable Block IO controller
        CONFIG_BLK_CGROUP=y

- Enable throttling in block layer
        CONFIG_BLK_DEV_THROTTLING=y

这个可以从/boot 目录下的 config-xxx 文件确定。


挂载 blkio 子系统：

mount -t tmpfs cgroup_root /sys/fs/cgroup
mkdir /sys/fs/cgroup/blkio
mount -t cgroup -o blkio none /sys/fs/cgroup/blkio

sync                                                                          /// 因为测试的是 buffered IO 所以这写些骤很重要。

echo 3 > /proc/sys/vm/drop_caches


限制一个设备的读速率，在这里限制的是U盘的速率：（其中sdb  对应 8:16 ,sda 对应着 8:0 ）

sina@ubuntu:~$ df
文件系统           1K-块      已用      可用 已用% 挂载点
/dev/loop0            29979608  21393392   7063324  76% /
udev                    966128         4    966124   1% /dev
tmpfs                   389260       900    388360   1% /run
none                      5120         0      5120   0% /run/lock
none                    973144       340    972804   1% /run/shm
/dev/sda6            130095100  32334964  97760136  25% /host
cgroups                 973144         0    973144   0% /sys/fs/cgroup
cgroup_root             973144         0    973144   0% /sys/fs/cgroup
/dev/sdb               7808092   6260552   1547540  81% /media/KINGSTON

echo "8:16  1048576" > /sys/fs/cgroup/blkio/blkio.throttle.read_bps_device

以上限制U盘的读速率是  1.0 MB/s  。

用 disk文件测试：

root@ubuntu:~/work/test# dd if=/media/KINGSTON/disk.img of=/dev/null bs=1M count=512
记录了512+0 的读入
记录了512+0 的写出
536870912字节(537 MB)已复制，511.81 秒，1.0 MB/秒


同样也可以通过设置 blkio.throttle.write_bps_device  限制 U 盘的写速率为0.5M/s：（此时U盘挂载为sdd）

root@ubuntu:/sys/fs/cgroup/blkio# echo "8:48  524288" > /sys/fs/cgroup/blkio/blkio.throttle.write_bps_device
root@ubuntu:/sys/fs/cgroup/blkio# dd if=/dev/zero of=/media/KINGSTON/diskt.img bs=1M count=512
记录了512+0 的读入
记录了512+0 的写出
536870912字节(537 MB)已复制，913.309 秒，588 kB/秒
iostat 结果如下： 
sina@ubuntu:~$ iostat -xm  sdd 10
Linux 3.0.0-26-generic-pae (ubuntu) 	2012年09月21日 	_i686_	(4 CPU)


Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdd               0.00     0.00    0.00    4.40     0.00     0.51   235.27     0.05   11.45    0.00   11.45  11.18   4.92

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.67    0.00    0.52   24.94    0.00   73.86

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdd               0.00     1.30    0.60    5.00     0.00     0.50   183.29     0.18   31.93    0.67   35.68  24.00  13.44

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.68    0.00    0.38   24.83    0.00   74.12

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdd               0.00     6.20    1.60    4.60     0.00     0.49   163.26     0.17   26.77    0.75   35.83  20.19  12.52

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           4.41    0.00    1.15   24.79    0.00   69.65



通过写 blkio.throttle.read_iops_device 来限制  U盘的每秒IO 次数： 
echo "<major>:<minor>  <rate_io_per_second>" > /cgrp/blkio.throttle.read_iops_device

当用dd 测试 字符速率的时候（1M/s） 用命令 （  iostat     -xm  sdb 10 ） 来测试 IO 速率。

sina@ubuntu:~$ iostat -xm sdb 10
Linux 3.0.0-26-generic-pae (ubuntu) 	2012年09月20日 	_i686_	(4 CPU)


avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           2.85    0.00    0.63   24.59    0.00   71.93

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb               0.00     0.00   18.00    0.00     1.00     0.00   113.89     0.07    4.00    4.00    0.00   1.78   3.20

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           4.07    0.00    0.90   24.16    0.00   70.86

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb               0.00     0.00   18.00    0.00     1.00     0.00   113.89     0.07    3.64    3.64    0.00   1.78   3.20

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           3.85    0.00    0.95   24.64    0.00   70.55

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb               0.00     0.00   18.00    0.00     1.00     0.00   113.89     0.07    4.00    4.00    0.00   1.78   3.20

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           2.00    0.00    0.70   25.05    0.00   72.25

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb               0.00     0.00   18.00    0.00     1.00     0.00   113.89     0.07    3.78    3.78    0.00   1.78   3.20

按照上面的读测试显示此时每秒的读 IO 次数 大概在 18次左右。

也可以计算出这个dd命令的IO速度：

root@ubuntu:~/TestDir# time dd if=/media/KINGSTON/busybox.img of=/dev/null bs=1M count=512
记录了512+0 的读入
记录了512+0 的写出
536870912字节(537 MB)已复制，500.458 秒，1.1 MB/秒

real	8m20.463s
user	0m0.000s
sys	0m0.828s
512  /  （8 * 60 + 20.463） = 1 M/s


测试 将U盘每秒的IO速率限制为10. 

# echo "8:16  10" > /sys/fs/cgroup/blkio/blkio.throttle.read_iops_device

此时再测试U盘的读速度：

root@ubuntu:~/TestDir# dd if=/media/KINGSTON/disk.img of=/dev/null bs=1M count=512

记录了512+0 的读入
记录了512+0 的写出
536870912字节(537 MB)已复制，914.64 秒，573 kB/秒
在这个过程中： 
sina@ubuntu:~$ iostat -xm sdb 10
Linux 3.0.0-26-generic-pae (ubuntu) 	2012年09月20日 	_i686_	(4 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           7.88    0.00    1.77   22.80    0.00   67.55

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb               0.20     0.00    9.80    0.00     0.54     0.00   113.01     0.03    2.61    2.61    0.00   1.71   1.68

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           3.32    0.00    1.82   23.50    0.00   71.35

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb               0.00     0.00   10.10    0.00     0.57     0.00   115.99     0.03    2.73    2.73    0.00   1.82   1.84

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           4.63    0.00    1.48   24.29    0.00   69.60

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb               0.00     0.00   10.00    0.00     0.55     0.00   112.91     0.03    2.64    2.64    0.00   1.76   1.76

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           4.01    0.00    0.88   24.47    0.00   70.64

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb               0.10     0.00    9.80    0.10     0.55     0.00   113.74     0.02    2.51    2.53    0.00   1.74   1.72

可见 当 read_iops_device 和 read_bps_device 同时设置的时候，那么会同时起限制的作用。




用blkio 限制指定进程的 读速度：


创建脚本 blk.sh

root@ubuntu:~/work/test# cat blk.sh 
dd if=/media/KINGSTON/diskt.img of=/dev/null bs=1M count=512 &
echo $! > /sys/fs/cgroup/blkio/test1/tasks

在 cgroup 的 blkio 目录中创建一个目录 test1：

root@ubuntu:/sys/fs/cgroup/blkio# mkdir test1/
限制 test1 的读速率： 
root@ubuntu:/sys/fs/cgroup/blkio# echo "8:48  524288" > /sys/fs/cgroup/blkio/test1/blkio.throttle.read_bps_device

开启一个dd ，将其PID attach 到 test1 的tasks 文件中。 
root@ubuntu:~/work/test# ./blk.sh

用 iostat 测试其读速率： 
sina@ubuntu:~$ iostat -xm sdb 10
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           7.36    0.00    1.43   24.91    0.00   66.30

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdd               0.00     0.00    9.00    0.00     0.50     0.00   113.89     0.03    2.98    2.98    0.00   1.69   1.52

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           4.27    0.00    2.39   23.57    0.00   69.77

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdd               0.10     0.00    8.20    0.00     0.50     0.00   124.90     0.03    3.95    3.95    0.00   1.95   1.60

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           5.73    0.00    3.09   23.64    0.00   67.54

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdd               0.00     0.00    9.00    0.00     0.50     0.00   113.89     0.04    4.00    4.00    0.00   1.78   1.60

root@ubuntu:~/work/test# ./blk.sh 
root@ubuntu:~/work/test# 记录了512+0 的读入
记录了512+0 的写出
536870912字节(537 MB)已复制，1029.69 秒，521 kB/秒
可见其读速率 符合预先的设置。

同样的开启一个dd 在没有attack PID 的时候其读速率将不会受控：

root@ubuntu:~/work/test# dd if=/media/KINGSTON/diskt.img of=/dev/null bs=1M count=512
记录了512+0 的读入
记录了512+0 的写出
536870912字节(537 MB)已复制，12.4191 秒，43.2 MB/秒








fio配合cgroup测试存储设备IOPS分配 
http://blog.yufeng.info/archives/2001 
 
 
CGroup限制系统资源how to<命令行>
http://www.mysqlsky.com/201203/cgroup-os-how-to






xianjian_x
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
【CGroup原理篇V1】五、BLKIO子系统
从0到1，突破自己
04-05 2355
blkio，Block IO Controller，指block io控制器或块IO子系统。 IO控制策略就是用于控制特定设备的IO速率的一个节流策略。这种策略可以应用在内核通用块层(Generic Block Layer)，也可以应用在页节点上和高级别逻辑设备，如设备映射器。
cgroup-blkio子系统分析
tanzhe2017的博客
07-11 6375
1      概述Cgroup中的blkio子系统的主要功能是实现对磁盘i/o带宽的可定制化控制。目前支持的控制策略只要有两种：BLKIO_POLICY_PROP和BLKIO_POLICY_THROTL，即基于权重方式和基于流量方式。权重方式依赖于内核原生的CFQ i/o调度算法，i/o调度算法本身是工作在i/o调度层的，因此在使用上有一定的局限性，即被控制的设备必须使用cfq调度算法；为了弥补这...
cgroup-linux内存资源管理1
08-04
1. 我擦，内存用了好多，6个多G，可是我什么都没有运行啊 2. 嗯，根据我专业的眼光看出来，内存才用了1G多点，还有很多剩余内存可用 3. free显示的是这
node-cgroup-metrics:NodeJs模块，用于从容器内部读取cgroup指标
05-17
CGROUP-METRICS 用于读取指标的节点模块。 从/sys/fs/cgroup/读取。 内存指标： 从路径/sys/fs/cgroup/memory/memory读取： 原始值： stat.rss ：匿名和交换高速缓存内存的字节数 kmem.usage_in_bytes ：当前内核内存分配 limit_in_bytes ：内存使用限制 计算值： containerUsage() ： stats.rss + kmem.usage_in_bytes containerUsagePercentage() ： stats.rss + kmem.usage_in_bytes / limit_in_bytes CPU指标： 原始CPU值： 从路径/sys/fs/cgroup/读取： cpuacct.usage ：自此cgroup获得的容器开始以来的总CPU时间（以纳秒为单位）（
Cgroup － 从 CPU 资源隔离说起.docx
01-03
Cgroup － 从 CPU 资源隔离说起.doc
Docker-Cgroup-Doc
07-09
#Docker 和 Cgroup 文档以创建自定义和自适应容器 使用 docker 限制网络带宽 容器创建： sudo docker run --cap-add=NET_ADMIN --lxc-conf="lxc.cgroup.net_cls.classid = 0x00100001" -i -t ubuntu:14.04 /bin/bash 创建容器后，会创建一个虚拟网络接口： vethfaeed83 Link encap:Ethernet HWaddr 46:dc:df:35:a4:18 adr inet6: fe80::44dc:dfff:fe35:a418/64 Scope:Lien UP BROADCAST RUNNING MTU:1500 Metric:1 Packets reçus:7 erre
容器磁盘限速：我的容器里磁盘读写为什么不稳定?
小楼一夜听春雨，深巷明朝卖杏花
11-26 1468
上一讲，我给你讲了如何通过 XFS Quota 来限制容器文件系统的大小，这是静态容量大小的一个限制。 你也许会马上想到，磁盘除了容量的划分，还有一个读写性能的问题。 具体来说，就是如果多个容器同时读写节点上的同一块磁盘，那么它们的磁盘读写相互之间影响吗？如果容器之间读写磁盘相互影响，我们有什么办法解决呢？ 接下来，我们就带着问题一起学习今天的内容。 场景再现 我们先用这里的代码，运行一下 make image 来做一个带 fio 的容器镜像，fio 在我们之前的课程里提到过，它是用来测试磁盘
cgroups管理进程磁盘io
sofia1217的专栏
10-15 2195
linux 的 cgroups 还可以限制和监控进程的磁盘 io。这个功能通过 blkio 子系统实现。 blkio 子系统里东西很多。不过大部分都是只读的状态报告，可写的参数就只有下面这几个： 复制代码代码如下: blkio.throttle.read_bps_device blkio.throttle.read_iops_device blkio.throttle.wri
存储设备IO优化向导(blkio)
80后的梦想
08-21 670
1、概述 虽然存储设备的恨不能在近年来一直在稳步提升，从raw nand到emmc，再到UFS都在进步，但和CPU相比它们依然是一个低俗的外设，并且IO是不可抢占的，所以应用程序在交互中等待IO会带来非常糟糕的用户体验，大部分程序员都意识到了这一点，所以绝大多数的程序尽量都会想办法改善这个问题，例如预读(readahead)和异步IO等。但是有些场景是很难规避IO的影响的。比如启动应用和本地音视频播放。如果在这两个场景中，还有其它的程序来竞争IO，那对用户体验来说可能无法接受。 2、现有的优化 设想有
blk-throttle: async write throttling
gudujianjsk的专栏
09-22 1216
Overview      目前 blkio.throttle 控制器只支持同步IO请求。这意味着我们总是查看当前的任务“所有者”来识别每个IO请求。     然而在页面缓存的脏页面可以被内核线程per-bdi flusher 或者系统内的其它的线程根据回写策略异步的写回磁盘。      因为这个原因，真正写入到底层块设备  可能 发生在一个不同的IO上下文，考虑到进程最初生成的脏页参
cgroup-linux内存资源管理.pdf
最新发布
07-11
cgroup-linux内存资源管理.pdf cgroup-linux内存资源管理.pdf cgroup-linux内存资源管理.pdf cgroup-linux内存资源管理.pdf cgroup-linux内存资源管理.pdf cgroup-linux内存资源管理.pdf cgroup-linux内存资源管理....
docker控制机制-------cgroups
weixin_34107955的博客
05-17 162
强大的内核工具——cgroups。他不仅可以限制被namespace隔离起来的资源，还可以为资源设置权重、计算使用量、操控进程启停等等。在 介绍完基本概念后，我们将详细讲解Docker中使用到的cgroups内容。希望通过本文，让读者对Docker有更深入的了解。1. cgroups是什么cgroups（Control Groups）最初叫Process Container，...
docker的资源控制（内存的限制、磁盘读写限制、系统进程暂停与恢复等）
Aimee_c的博客
06-04 2482
文章目录1.容器资源控制1.1 资源控制方式1.2 操作系统层面控制1.3 容器内控制2.内存的限制2.1 容器中内存的限制2.2 操作系统层面内存的限制3.block io限制：对系统磁盘读写的限制4.1 文件系统层面的4.2 docker中的block io限制4.其他限制 （管控系统进程暂停与恢复的） 1.容器资源控制 1.1 资源控制方式 linux Cgroups：是限制一个进程组使用资源的上限，包括cpu、内存、磁盘、带宽等。 mount -t cgroup 看到都挂载在/sys/fs/cgr
Cgroup blkio简介和测试（使用fio测试）
weixin_34106122的博客
12-29 426
Cgroup blkio简介和测试（使用fio测试） 因需要对docker镜像内的进程对磁盘读写的速度进行限制，研究了下Cgroup blkio，并使用fio对其iops/bps限速进行测试。 Cgroup blkio简介 Linux Cgroup（Control Groups）是Linux内核提供的用于限制、记录、隔离进程组可以使用的资源（cpu、memory、IO等）的一种机制。 在/boot...
Linux Cgroups详解
草根工厂——技术虐我千百遍，我依然待你如初恋
04-20 1726
1、导言： Linux系统每个进程都可以自由竞争系统资源，有时候会导致一些次要进程占用了系统某个资源（如CPU）的绝大部分，主要进程就不能很好地执行，从而影响系统效率，重则在linux资源耗尽时可能会引起错杀进程。因此linux引入了linux cgroups来控制进程资源，让进程更可控。 2、Linux cgroups基础知识 Linux Cgroup 可​​​让​​​您​​​为​​​系​...
blkio.weight使用感想
白橙纸的不知道什么
09-10 2437
blkio.weight使用感想根据尝试，发现设置blkio.weight并不会对写入产生很大的影响，其影响的主要是read的IO。
iops & blkio
喝醉酒的小白
04-12 403
每秒的读写次数。
linux 内核资源配置--cgroups详解以及在docker中的应用
岳来的博客
06-21 3382
linux 内核资源配置--cgroups详解以及在docker中的应用
mount -t cgroup
06-08
mount -t cgroup 是 Linux 中用于挂载 cgroup 控制组的命令，其中 -t 选项指定要挂载的文件系统类型为 cgroup。cgroup 是一种内核机制，可以用来限制进程使用系统资源的能力，如 CPU、内存、磁盘等。 要挂载 cgroup 控制组，需要先创建一个挂载点目录，然后使用 mount 命令进行挂载。例如，要将 CPU 控制组挂载到 /sys/fs/cgroup/cpu 下，可以使用以下命令： ``` mkdir -p /sys/fs/cgroup/cpu mount -t cgroup -o cpu cpu /sys/fs/cgroup/cpu ``` 其中 -o 选项指定了挂载选项，这里使用了 cpu 选项表示要挂载 CPU 控制组。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值