Filecoin存储有的用的是昂贵的商业存储，有的用的是简单的nfs，我们公司用的是ceph文件系统。
各项技术的优劣在此不做评价，根据自己的实际情况来选择，不差钱又有技术能力那当然最好了。
本人在实践当中，发现ceph问题多多，算力低于1PiB的时候，问题一般暴露不出来，算力达到1.8PiB以后，时不时各种坑，执行ceph -s 出现各种头疼的HEALTH_WARN提示，让人防不胜防，不厌其烦，MDS也是各种问题，经常1 filesystem is degraded，然后就fil就掉算力，浏览器出现恐怖的红色的xxx faults。
出现问题要解决，可是错误提示都是冗长的英文，百度是搜不到的，google也很难匹配，偶尔有几个结果，还可能因为ceph版本不同，别人的解决方案不适合你，很让人纠结。filecoin生产环境下，ceph又不能让你随意测试，这就一个头两个大了。
见得多了，后来就慢慢摸出一点门道，ceph出现问题的根本原因是磁盘IO负载太重，而磁盘IO负载太重是因为ceph经常不定时执行deep_scrub，不停扫描磁盘。磁盘负载重，导致lotus 的window post不能及时完成，{"batch": 0, "elapsed": 187.471899623, "skip": 0, "err": null} ，就是这个elapsed这个参数太大，然后就掉算力了。
问题的原因，现象都知道了，现在就是要解决问题了，直接上代码。
措施1、在ceph的mon上执行
ceph tell osd.* in
最低0.47元/天 解锁文章
457
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
