ceph 性能优化

最新推荐文章于 2022-05-28 23:00:46 发布
最新推荐文章于 2022-05-28 23:00:46 发布
阅读量360 收藏
点赞数
分类专栏： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hypatia2015/article/details/108559651
版权

写 4M 数据

write: (g=0): rw=write, bs=(R) 4096KiB-4096KiB, (W) 4096KiB-4096KiB, (T) 4096KiB-4096KiB, ioengine=rbd, iodepth=32
fio-3.7
Starting 1 thread
Jobs: 1 (f=1): [W(1)][100.0%][r=0KiB/s,w=244MiB/s][r=0,w=61 IOPS][eta 00m:00s]
write: (groupid=0, jobs=1): err= 0: pid=92589: Sat Sep 12 22:29:12 2020
  Description  : ["test with block size"]
  write: IOPS=52, BW=212MiB/s (222MB/s)(20.8GiB/100525msec)
    slat (usec): min=1246, max=5938, avg=2001.48, stdev=393.38
    clat (msec): min=99, max=1156, avg=602.70, stdev=81.81
     lat (msec): min=101, max=1159, avg=604.70, stdev=81.80
    clat percentiles (msec):
     |  1.00th=[  435],  5.00th=[  493], 10.00th=[  523], 20.00th=[  550],
     | 30.00th=[  567], 40.00th=[  584], 50.00th=[  592], 60.00th=[  609],
     | 70.00th=[  617], 80.00th=[  651], 90.00th=[  701], 95.00th=[  743],
     | 99.00th=[  869], 99.50th=[  936], 99.90th=[ 1070], 99.95th=[ 1099],
     | 99.99th=[ 1150]
   bw (  KiB/s): min= 8192, max=294912, per=99.42%, avg=215398.93, stdev=28200.11, samples=201
   iops        : min=    2, max=   72, avg=52.51, stdev= 6.89, samples=201
  lat (msec)   : 100=0.02%, 250=0.17%, 500=5.91%, 750=89.13%, 1000=4.51%
  cpu          : usr=10.38%, sys=0.46%, ctx=4043, majf=0, minf=88160
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.2%, 16=0.3%, 32=99.4%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
     issued rwts: total=0,5317,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
  WRITE: bw=212MiB/s (222MB/s), 212MiB/s-212MiB/s (222MB/s-222MB/s), io=20.8GiB (22.3GB), run=100525-100525msec

Disk stats (read/write):
  sdg: ios=1/838, merge=0/583, ticks=6/736, in_queue=578, util=0.40%
 

新写 4K 数据

Jobs: 1 (f=1): [w(1)][100.0%][r=0KiB/s,w=13.1MiB/s][r=0,w=3360 IOPS][eta 00m:00s]
write: (groupid=0, jobs=1): err= 0: pid=92666: Sat Sep 12 22:34:13 2020
  Description  : ["test with block size"]
  write: IOPS=2882, BW=11.3MiB/s (11.8MB/s)(1126MiB/100011msec)
    slat (nsec): min=1398, max=1234.4k, avg=11009.79, stdev=9508.77
    clat (usec): min=741, max=275450, avg=11089.24, stdev=10265.50
     lat (usec): min=765, max=275466, avg=11100.25, stdev=10265.60
    clat percentiles (usec):
     |  1.00th=[  1565],  5.00th=[  2933], 10.00th=[  3949], 20.00th=[  5407],
     | 30.00th=[  6325], 40.00th=[  7111], 50.00th=[  7898], 60.00th=[  8979],
     | 70.00th=[ 10421], 80.00th=[ 14222], 90.00th=[ 23200], 95.00th=[ 29492],
     | 99.00th=[ 51643], 99.50th=[ 60556], 99.90th=[ 85459], 99.95th=[105382],
     | 99.99th=[254804]
   bw (  KiB/s): min= 3528, max=15632, per=99.99%, avg=11527.17, stdev=2887.35, samples=200
   iops        : min=  882, max= 3908, avg=2881.77, stdev=721.83, samples=200
  lat (usec)   : 750=0.01%, 1000=0.04%
  lat (msec)   : 2=2.10%, 4=8.11%, 10=57.24%, 20=19.29%, 50=12.06%
  lat (msec)   : 100=1.09%, 250=0.05%, 500=0.01%
  cpu          : usr=4.58%, sys=2.75%, ctx=148334, majf=0, minf=20541
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
     issued rwts: total=0,288238,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
  WRITE: bw=11.3MiB/s (11.8MB/s), 11.3MiB/s-11.3MiB/s (11.8MB/s-11.8MB/s), io=1126MiB (1181MB), run=100011-100011msec

Disk stats (read/write):
  sdg: ios=0/760, merge=0/553, ticks=0/117, in_queue=0, util=0.32%
------------------------------------------------------------------------------------------------------------------------------

修改写4K

write: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=rbd, iodepth=32
fio-3.7
Starting 1 thread
Jobs: 1 (f=1): [w(1)][100.0%][r=0KiB/s,w=27.5MiB/s][r=0,w=7039 IOPS][eta 00m:00s]
write: (groupid=0, jobs=1): err= 0: pid=92743: Sat Sep 12 22:36:43 2020
  Description  : ["test with block size"]
  write: IOPS=6963, BW=27.2MiB/s (28.5MB/s)(2720MiB/100003msec)
    slat (nsec): min=1375, max=1233.8k, avg=9729.99, stdev=9027.33
    clat (usec): min=460, max=256722, avg=4583.43, stdev=4906.07
     lat (usec): min=470, max=256737, avg=4593.16, stdev=4906.31
    clat percentiles (usec):
     |  1.00th=[  1004],  5.00th=[  1762], 10.00th=[  2376], 20.00th=[  2900],
     | 30.00th=[  3228], 40.00th=[  3490], 50.00th=[  3752], 60.00th=[  4047],
     | 70.00th=[  4359], 80.00th=[  4883], 90.00th=[  5997], 95.00th=[  8455],
     | 99.00th=[ 26084], 99.50th=[ 30278], 99.90th=[ 50070], 99.95th=[ 58459],
     | 99.99th=[127402]
   bw (  KiB/s): min= 3184, max=36752, per=99.99%, avg=27850.31, stdev=7509.90, samples=200
   iops        : min=  796, max= 9188, avg=6962.59, stdev=1877.48, samples=200
  lat (usec)   : 500=0.01%, 750=0.18%, 1000=0.80%
  lat (msec)   : 2=5.56%, 4=52.41%, 10=37.01%, 20=1.74%, 50=2.20%
  lat (msec)   : 100=0.07%, 250=0.03%, 500=0.01%
  cpu          : usr=9.48%, sys=5.02%, ctx=321603, majf=0, minf=61932
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
     issued rwts: total=0,696346,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
  WRITE: bw=27.2MiB/s (28.5MB/s), 27.2MiB/s-27.2MiB/s (28.5MB/s-28.5MB/s), io=2720MiB (2852MB), run=100003-100003msec

Disk stats (read/write):
  sdg: ios=0/784, merge=0/598, ticks=0/118, in_queue=0, util=0.31%

---------------------------------------------------------------------------------------------------------------------------------------------
读4M

Jobs: 1 (f=1): [R(1)][14.8%][r=32.0MiB/s,w=0KiB/s][r=8,w=0 IOPS][eta 09m:41s] 
READ: (groupid=0, jobs=1): err= 0: pid=92903: Sat Sep 12 22:40:50 2020
  Description  : ["test with block"]
   read: IOPS=37, BW=151MiB/s (159MB/s)(14.9GiB/101025msec)
    slat (nsec): min=1509, max=158928, avg=14261.88, stdev=4433.00
    clat (msec): min=129, max=7034, avg=845.99, stdev=969.07
     lat (msec): min=129, max=7034, avg=846.01, stdev=969.07
    clat percentiles (msec):
     |  1.00th=[  186],  5.00th=[  209], 10.00th=[  224], 20.00th=[  257],
     | 30.00th=[  292], 40.00th=[  338], 50.00th=[  393], 60.00th=[  506],
     | 70.00th=[  776], 80.00th=[ 1318], 90.00th=[ 2232], 95.00th=[ 3037],
     | 99.00th=[ 4396], 99.50th=[ 5269], 99.90th=[ 6678], 99.95th=[ 6812],
     | 99.99th=[ 7013]
   bw (  KiB/s): min= 8192, max=245760, per=99.70%, avg=154415.95, stdev=28231.48, samples=201
   iops        : min=    2, max=   60, avg=37.67, stdev= 6.89, samples=201
  lat (msec)   : 250=18.19%, 500=41.34%, 750=9.63%, 1000=6.10%
  cpu          : usr=0.22%, sys=0.15%, ctx=3825, majf=0, minf=82
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.2%, 16=0.4%, 32=99.2%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
     issued rwts: total=3820,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
   READ: bw=151MiB/s (159MB/s), 151MiB/s-151MiB/s (159MB/s-159MB/s), io=14.9GiB (16.0GB), run=101025-101025msec

Disk stats (read/write):
  sdg: ios=1/835, merge=0/602, ticks=0/1128, in_queue=972, util=0.39%

 

随机读4K

READ: (g=0): rw=randread, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=rbd, iodepth=32
fio-3.7
Starting 1 thread
Jobs: 1 (f=1): [r(1)][100.0%][r=14.2MiB/s,w=0KiB/s][r=3645,w=0 IOPS][eta 00m:00s]
READ: (groupid=0, jobs=1): err= 0: pid=93128: Sat Sep 12 22:42:53 2020
  Description  : ["test with block"]
   read: IOPS=10.5k, BW=41.1MiB/s (43.1MB/s)(4111MiB/100017msec)
    slat (nsec): min=340, max=1023.0k, avg=3349.69, stdev=4069.03
    clat (usec): min=145, max=120012, avg=3036.57, stdev=7534.29
     lat (usec): min=147, max=120017, avg=3039.92, stdev=7535.22
    clat percentiles (usec):
     |  1.00th=[  388],  5.00th=[  502], 10.00th=[  611], 20.00th=[  758],
     | 30.00th=[  865], 40.00th=[  947], 50.00th=[ 1020], 60.00th=[ 1090],
     | 70.00th=[ 1205], 80.00th=[ 1434], 90.00th=[ 5211], 95.00th=[16712],
     | 99.00th=[41157], 99.50th=[50070], 99.90th=[68682], 99.95th=[76022],
     | 99.99th=[92799]
   bw (  KiB/s): min=11040, max=135584, per=100.00%, avg=42089.18, stdev=46583.14, samples=200
   iops        : min= 2760, max=33896, avg=10522.27, stdev=11645.77, samples=200
  lat (usec)   : 250=0.01%, 500=4.92%, 750=14.21%, 1000=28.66%
  lat (msec)   : 2=39.38%, 4=2.16%, 10=3.27%, 20=3.36%, 50=3.53%
  lat (msec)   : 100=0.51%, 250=0.01%
  cpu          : usr=8.11%, sys=6.76%, ctx=809383, majf=0, minf=5099
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
     issued rwts: total=1052371,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
   READ: bw=41.1MiB/s (43.1MB/s), 41.1MiB/s-41.1MiB/s (43.1MB/s-43.1MB/s), io=4111MiB (4311MB), run=100017-100017msec

Disk stats (read/write):
  sdg: ios=1/841, merge=0/614, ticks=1/949, in_queue=801, util=0.39%
 

hypatia813
关注
专栏目录
ceph性能调优
weixin_40548182的博客
11-10 2052
软件层面 集群配置文件 配置文件段 [global] 这个段的配置会影响集群所有的守护进程。 [MON] 这个段的配置只会作用于ceph集群内的mon守护进程，这个段内设置的参数会覆盖掉在[global]段中设置的相同参数。 [OSD] 这个段的配置只会作用于ceph集群内的osd守护进程，这个段内设置的参数会覆盖掉在[global]段中设置的相同参数。 [MDS] 这个段的配置只会作用于ceph集群内的mds守护进程，这个段内设置的参数会覆盖掉在[global]段中设置的相同参数。 [client] 这个
【ceph】ceph性能优化和测试
小鱼菜鸟的博客
07-22 671
性能测试 fio 3.7 yum install的不支持ceph，需要自己编译打开相关项目 Ceph集群性能优化介绍 - TuringM - 博客园 Ceph性能测试工具和方法。 - 梦里衍春 - 博客园 https://blog.csdn.net/bandaoyu/article/details/113190057 Ceph性能测试工具和方法...
几个 Ceph 性能优化的新方法和思路（2015 SH Ceph Day 参后感）
weixin_34331102的博客
10-26 387
    一周前，由 Intel 与 Redhat 在10月18日联合举办了 Shanghai Ceph Day。在这次会议上，多位专家做了十几场非常精彩的演讲。本文就这些演讲中提到的 Ceph性能优化方面的知识和方法，试着就自己的理解做个总结。 0. 常规的 Ceph 性能优化方法 （1）. 硬件层面 硬件规划：CPU、内存、网络 SSD选择：使用 SSD 作为日志存储 BIOS设置...
Ceph性能优化总结(v0.94)
老孙正经胡说
06-30 7293
如需转载请标明作者，原文地址：http://xiaoquqi.github.io/blog/2015/06/28/ceph-performance-optimization-summary/最近一直在忙着搞Ceph存储的优化和测试，看了各种资料，但是好像没有一篇文章把其中的方法论交代清楚，所以呢想在这里进行一下总结，很多内容并不是我原创，只是做一个总结。如果其中有任何的问题，欢迎各位喷我，以便我提高
Ceph性能调优
xidianjiapei001的博客
02-24 462
概述 硬件层面 软件层面 Journal 与 tcmalloc 参考文献 http://xiaoquqi.github.io/blog/2015/06/28/ceph-performance-optimization-summary/ http://hustcat.github.io/ceph-performance-journal-and-tcmalloc/ ...
Ceph性能优化总结
破茧
07-05 9408
优化方法论做任何事情还是要有个方法论的，“授人以鱼不如授人以渔”的道理吧，方法通了，所有的问题就有了解决的途径。通过对公开资料的分析进行总结，对分布式存储系统的优化离不开以下几点：1. 硬件层面硬件规划SSD选择BIOS设置2. 软件层面Linux OSCeph ConfigurationsPG Number调整CRUSH Map其他因素硬件优化1. 硬件规划Processorceph-osd进程...
Ceph性能优化 之 配置参数调优
热门推荐
梦幻之巅
05-05 2万+
该文同时发表在盛大游戏G云微信公众号，粘贴于此，方便各位查阅Ceph，相信很多IT朋友都听过。因为搭上了Openstack的顺风车，Ceph火了，而且越来越火。然而要用好Ceph却也不是件易事，在QQ群里就经常听到有初学者抱怨Ceph性能太烂，不好用。事实果真如此吗！如果你采用Ceph的默认配置来运行你的Ceph集群，性能自然不能如人意。俗话说，玉不琢,不成器；Ceph也有它的脾性，经过良好配置优化
ceph优化参数
09-18
ceph tell osd.* injectargs '--ms_nocrc ' ceph tell osd.* injectargs '--osd_max_write_size 1024 ' ceph tell osd.* injectargs '--osd_max_pgls 10240' ceph tell osd.* injectargs '--osd_op_threads 24' ceph tell osd.* injectargs '--osd_auto_weight ' ceph tell osd.* injectargs '--no-osd_enable_op_tracker ' ceph tell osd.* injectargs '--no-filestore_wbthrottle_enable ' ceph tell osd.* injectargs '--filestore_fiemap ' ceph tell osd.* injectargs '--filestore_journal_max_ops 5000 ' ceph tell osd.* injectargs '--filestore_queue_journal_max_ops 5000 ' ceph tell osd.* injectargs '--filestore_queue_max_ops 5000 ' ceph tell osd.* injectargs '--filestore_journal_parallel ' ceph tell osd.* injectargs '--filestore_op_threads 24' ceph tell osd.* injectargs '--journal_force_aio ' ceph tell osd.* injectargs '--journal_queue_max_ops 5000 ' ceph tell osd.* injectargs '--osd_disk_hreads 24' ceph tell osd.* injectargs '--osd_disk_threads 24'
Ceph 架构及性能优化
民工哥的博客
02-24 1023
点击下方“民工哥技术之路”，选择“设为星标”回复“1024”获取独家整理的学习资料！对分布式存储系统的优化离不开以下几点：1.硬件层面硬件规划SSD选择BIOS设置2.软件层面Linux ...
Ceph架构及性能优化
weixin_33814685的博客
06-20 170
对分布式存储系统的优化离不开以下几点：1. 硬件层面硬件规划SSD选择BIOS设置2. 软件层面Linux OSCeph ConfigurationsPG Number调整CRUSH Map其他因素硬件层面1、 CPUceph-osd进程在运行过程中会消耗CPU资源，所以一般会为每一个ceph-osd进程绑定一个CPU核上。ceph-mon进程并不十分消耗CPU资源，所以...
Ceph性能优化与增强
渡江客涂鸦板
05-28 3069
Ceph是一个非常复杂的存储系统，它具有几种我们可以用来提高性能的方式。幸运的是，Ceph的开箱即用非常好，许多性能设置几乎利用了自动调整和缩放功能。在探索一些性能增强时，了解您的工作负载很重要，这样您就可以选择最适合您的选项。
Ceph性能优化
smart9527_zc的博客
12-31 2545
一、硬件选型 （1）服务器 1GHz CPU per  OSD （the  more the better） 1GB  RAM  per OSD 1GHz  CPU*4  per  MON 4GB  RAM  per  MON （2）硬盘 SSD、HDD配比1:3~5 （推荐使用Intel DC 3700或同等级以上SSD）  每个物理节点OSD数量最好控制在单机最大网络带宽以内（...
Ceph调优
weixin_42340926的博客
01-11 387
扩容最好一个个osd的加，否则数据再平衡需要较长的时间 如果业务流量比较大的话，可以先暂停到数据的rebalance（相当于设置标志位） ceph osd set norebalance ceph osd set nobackfill 两个必须都关掉才能有效果 等业务流量高峰期过了重新设置标志位即可 ceph osd unset norebalance ceph osd unset nobackfill 查看每块盘的延迟 ceph osd perf 如果有盘延迟特别高，说明出现了问题，需..
ceph配置参数优化
weixin_34303897的博客
11-24 301
2019独角兽企业重金招聘Python工程师标准>>> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值