ceph同步数据过程OSD进程异常退出记录

做的操作: ceph集群扩容了几个节点。

异常现象: ceph集群同步时，总是OSD进程异常的宕掉(同步一段时间数据后)。

ceph版本:  9.2.1

日志:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68

7月 25 09:25:57 ceph6 ceph-osd[26051]: 0> 2017-07-25 09:25:57.471502 7f46fe478700 -1 common /HeartbeatMap .cc: In  function  'bool ceph::HeartbeatMap::_ch 7月 25 09:25:57 ceph6 ceph-osd[26051]: common /HeartbeatMap .cc: 81: FAILED assert(0 ==  "hit suicide timeout" ) 7月 25 09:25:57 ceph6 ceph-osd[26051]: ceph version 9.2.1 (752b6a3020c3de74e07d2a8b4c5e48dab5a6b6fd) 7月 25 09:25:57 ceph6 ceph-osd[26051]: 1: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x85) [0x7f47038330b5] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 2: (ceph::HeartbeatMap::_check(ceph::heartbeat_handle_d const*, char const*, long)+0x2d9) [0x7f47037728e9] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 3: (ceph::HeartbeatMap::is_healthy()+0xd6) [0x7f4703773126] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 4: (ceph::HeartbeatMap::check_touch_file()+0x2c) [0x7f47037738ec] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 5: (CephContextServiceThread::entry()+0x15b) [0x7f470384f2bb] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 6: (()+0x7dc5) [0x7f47018a6dc5] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 7: (clone()+0x6d) [0x7f470014f76d] 7月 25 09:25:57 ceph6 ceph-osd[26051]: NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this. 7月 25 09:25:57 ceph6 ceph-osd[26051]: terminate called after throwing an instance of  'ceph::FailedAssertion' 7月 25 09:25:57 ceph6 ceph-osd[26051]: *** Caught signal (Aborted) ** 7月 25 09:25:57 ceph6 ceph-osd[26051]:  in  thread 7f46fe478700 7月 25 09:25:57 ceph6 ceph-osd[26051]: ceph version 9.2.1 (752b6a3020c3de74e07d2a8b4c5e48dab5a6b6fd) 7月 25 09:25:57 ceph6 ceph-osd[26051]: 1: (()+0x7e6fe2) [0x7f470373dfe2] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 2: (()+0xf370) [0x7f47018ae370] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 3: (gsignal()+0x37) [0x7f470008d1d7] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 4: (abort()+0x148) [0x7f470008e8c8] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 5: (__gnu_cxx::__verbose_terminate_handler()+0x165) [0x7f47009919d5] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 6: (()+0x5e946) [0x7f470098f946] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 7: (()+0x5e973) [0x7f470098f973] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 8: (()+0x5eb9f) [0x7f470098fb9f] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 9: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x27a) [0x7f47038332aa] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 10: (ceph::HeartbeatMap::_check(ceph::heartbeat_handle_d const*, char const*, long)+0x2d9) [0x7f47037728e9] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 11: (ceph::HeartbeatMap::is_healthy()+0xd6) [0x7f4703773126] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 12: (ceph::HeartbeatMap::check_touch_file()+0x2c) [0x7f47037738ec] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 13: (CephContextServiceThread::entry()+0x15b) [0x7f470384f2bb] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 14: (()+0x7dc5) [0x7f47018a6dc5] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 15: (clone()+0x6d) [0x7f470014f76d] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 2017-07-25 09:25:57.525027 7f46fe478700 -1 *** Caught signal (Aborted) ** 7月 25 09:25:57 ceph6 ceph-osd[26051]:  in  thread 7f46fe478700 7月 25 09:25:57 ceph6 ceph-osd[26051]: ceph version 9.2.1 (752b6a3020c3de74e07d2a8b4c5e48dab5a6b6fd) 7月 25 09:25:57 ceph6 ceph-osd[26051]: 1: (()+0x7e6fe2) [0x7f470373dfe2] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 2: (()+0xf370) [0x7f47018ae370] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 3: (gsignal()+0x37) [0x7f470008d1d7] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 4: (abort()+0x148) [0x7f470008e8c8] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 5: (__gnu_cxx::__verbose_terminate_handler()+0x165) [0x7f47009919d5] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 6: (()+0x5e946) [0x7f470098f946] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 7: (()+0x5e973) [0x7f470098f973] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 8: (()+0x5eb9f) [0x7f470098fb9f] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 9: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x27a) [0x7f47038332aa] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 10: (ceph::HeartbeatMap::_check(ceph::heartbeat_handle_d const*, char const*, long)+0x2d9) [0x7f47037728e9] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 11: (ceph::HeartbeatMap::is_healthy()+0xd6) [0x7f4703773126] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 12: (ceph::HeartbeatMap::check_touch_file()+0x2c) [0x7f47037738ec] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 13: (CephContextServiceThread::entry()+0x15b) [0x7f470384f2bb] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 14: (()+0x7dc5) [0x7f47018a6dc5] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 15: (clone()+0x6d) [0x7f470014f76d] 7月 25 09:25:57 ceph6 ceph-osd[26051]: NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this. 7月 25 09:25:57 ceph6 ceph-osd[26051]: 0> 2017-07-25 09:25:57.525027 7f46fe478700 -1 *** Caught signal (Aborted) ** 7月 25 09:25:57 ceph6 ceph-osd[26051]:  in  thread 7f46fe478700 7月 25 09:25:57 ceph6 ceph-osd[26051]: ceph version 9.2.1 (752b6a3020c3de74e07d2a8b4c5e48dab5a6b6fd) 7月 25 09:25:57 ceph6 ceph-osd[26051]: 1: (()+0x7e6fe2) [0x7f470373dfe2] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 2: (()+0xf370) [0x7f47018ae370] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 3: (gsignal()+0x37) [0x7f470008d1d7] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 4: (abort()+0x148) [0x7f470008e8c8] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 5: (__gnu_cxx::__verbose_terminate_handler()+0x165) [0x7f47009919d5] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 6: (()+0x5e946) [0x7f470098f946] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 7: (()+0x5e973) [0x7f470098f973] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 8: (()+0x5eb9f) [0x7f470098fb9f] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 9: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x27a) [0x7f47038332aa] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 10: (ceph::HeartbeatMap::_check(ceph::heartbeat_handle_d const*, char const*, long)+0x2d9) [0x7f47037728e9] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 11: (ceph::HeartbeatMap::is_healthy()+0xd6) [0x7f4703773126] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 12: (ceph::HeartbeatMap::check_touch_file()+0x2c) [0x7f47037738ec] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 13: (CephContextServiceThread::entry()+0x15b) [0x7f470384f2bb] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 14: (()+0x7dc5) [0x7f47018a6dc5] 7月 25 09:25:57 ceph6 ceph-osd[26051]: 15: (clone()+0x6d) [0x7f470014f76d] 7月 25 09:25:57 ceph6 ceph-osd[26051]: NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

用关键词"FAILED assert(0 == "hit suicide timeout")"搜索时，很多都为“common/HeartbeatMap.cc: 79”类开头的异常。

基本没有“common/HeartbeatMap.cc: 81”开头的。

期间找了各种尝试，巴拉巴拉好多。最后发现问题出现在新节点与老节点内核版本不一致的情况。更新后恢复正常。

本文转自 陈延宗 51CTO博客，原文链接：http://blog.51cto.com/407711169/1959914，如需转载请自行联系原作者