docker监控报fsync called by wal 的延迟、commit called by backend 的延迟。etcd

docker监控报fsync called by wal 的延迟、commit called by backend 的延迟。etcd

从其它文现得之，此告警与群集响应性能有关。

etcd尽量部署在SSD高性能低延迟磁盘上。
此次服务器一部分采用的HDD，但还是出现延迟告警问题。

经过应用层同事发现，AVAGO品牌阵列卡存在周期巡检功能，采用Broadcom MegaRAID 芯片方案，每7天自动对磁盘进行坏道和数据一致性巡检。

从第三参考链接下载工具：Latest MegaRAID StorCLI
MR 7.13
Version:
007.1316.0000.0000

linux 平台
./storcli64 help
取所有支持命令参数

和巡检有关为 patrolread
./storclt64 /c 0 set patrolread maxconcurrentpd=2
设置并行巡检磁盘量为2（默认63，PS说明该阵列卡最大带盘量为63）

./storcli64 /c 0 set prrate=30
设置巡检占用硬盘性能效率，默认30%，已经对etcd服务监测到告警敏感。降低此比例。

./storcli64 /c 0 show all
显示当前id0阵列卡所有信息

参考
fsync
https://www.cnblogs.com/gaojian/p/3230635.html
https://www.cnblogs.com/hustcat/archive/2013/08/26/3283955.html
https://blog.csdn.net/yaosheng20/article/details/51361654

戴尔服务器同现象
https://blog.csdn.net/dongfei2033/article/details/86191140

博通芯片方案工具下载storcli64
https://www.broadcom.com/products/storage/raid-controllers
/megaraid-9460-8i#downloads

磁盘延迟参考
http://iknow.lenovo.com/detail/dc_111704.html

linux系统工具iostat说明
https://www.cnblogs.com/ocp-100/articles/10649306.html

etcd官方文档
https://etcd.io/docs/v3.3.12/learning/why/

慢盘参考标准100MS

单盘响应 7200转/M 空载为：4.17ms

百度百科：磁盘反应时间
反应时间：指的是硬盘中的转轮的工作情况。反应时间是硬盘转速的一个最直接的反应指标。5400RPM的硬盘拥有的是5.55 MS的反应时间，而7200RPM的可以达到4.17 MS。反应时间是硬盘将利用多长的时间完成第一次的转轮旋转。如果我们确定一个硬盘达到120周旋转每秒的速度，那么旋转一周的时间将是1/120即0.008333秒的时间。如果我们的硬盘是0.0041665秒每周的速度，我们也可以称这块硬盘的反应时间是4.17 ms(1ms=1/1000每秒)。

PC坏道检查工具MHDD参考（PS目前各种winPE工具已经集成）
https://wenku.baidu.com/view/15a7b14bc850ad02de804102