Ceph 集群定期死机

装了个5点ceph集群, 每天自动重启1,2次,后来模拟,上复杂任务, 10分钟即可重启

问题排查

/var/log/message里没有有用信息

在/var/crash里看kdump信息发现死机栈和网上https://bugzilla.redhat.com/show_bug.cgi?id=1665248

一致

点开后看原来是redhat的bug, 触发这个bug的条件是

1. redhat 7.6

2. 使用rbd, 并且格式化为xfs

3. monitr节点和osd共用一个节点(co located)

 

 

解决方案

上面三个解决任何一个即可

1. 等最新补丁或退回7.5     -- 我要使用mimic版, 只有7.6支持,官网2019.1月发现问题,正在解决,还没提交

2. ext4

3. 再找独立机器装monitor   -- 集群一共没多大, 没法再找机器

 

最终选择ext4,测试24小时,未复现死机