前情
有一个 osd 慢了,想分析原因。
分析过程
1. 硬件配置对比
找了一台参照机器,上面也一样跑了 15 个 osd,发现 CPU、内存、主板、内存、硬盘的型号都一样,参数也没看出明显差别。但磁盘有点毛病,用 smartctl 看不出通电时长,所以也没有法断定不是磁盘之间的差异。
ProLiant DL380e Gen8
Intel(R) Xeon(R) CPU E5-2470 0 @ 2.30GHz
16G DDR3 1333 MHz * 10
2. 排除配置差异
确实找出一个差异来,这个慢的 osd 的磁盘分区和别的 osd 不一样,前面 14 个 osd 的 journal 分区占整个硬盘的比例是 20%,这个慢的 osd 则是 10%。
但后来发现,其它 14 个是普通的 osd,慢的那个是 bucket index osd,所以分区故意那样分的。
3. 发现 mcelog 大了很多
慢盘的 mcelog 比参照机器上的大了 20G,后确认是很早以前有内存错误打的,不是最近发生。
4. 怀疑内存还是有毛病,毕竟曾经有过毛病
测试了逐字节内存填写,结果发现慢盘机器总是比参照机器慢一些,而且浮动比较大,所以怀疑是整机性能不行,并非就那个 bucket index osd 慢,只是 bucket index osd 慢得比较明显。后来,另一名同事确认了这点,15 个 osd 都比参照机器上的 15 个 osd 慢。
5. 在另一名同事的协助下,发现 CPU 降频了……
这个问题机器的 CPU 是 ondemand 模式,降频后,没有及时恢复!后来改为性能模式,问题解决。至于为什么 CPU 不能恢复高频模式,有点怀疑是 pcc-cpufreq.ko 这个 cpufreq_driver 的 bug,但没仔细研究了,直接听取前辈的经验:使用 ondemand 模式,可能导致莫名其妙的问题,而且并不能省多少电,意义不大。
单说 CPU,省电的关键应该是把工作电压降低了,功率下降肯定能省电;只把频率降低(能提高电阻?),效果目测是不会很明显。这个研究不深,欢迎指教。
6. 为什么参照机器没有问题?
两个可能性:
(1)BIOS ROM 版本不一样,参照机器更高:P73 08/20/2012,问题机器:P73 06/01/2012。
(2)BIOS 参数可能也不一样。(服务器不能,无法查看……)