每天进步一点点——磁盘损坏导致container-sync服务退出(Swift Bug )

最新推荐文章于 2024-07-22 16:35:58 发布

cywosp

最新推荐文章于 2024-07-22 16:35:58 发布

阅读量1w

点赞数 1

分类专栏： OpenStack 文章标签： openstack swift

本文链接：https://blog.csdn.net/cywosp/article/details/23848083

版权

本文讲述了在Swift集群中，当磁盘出现损坏时如何导致container-sync服务异常退出的问题。通过分析日志，发现是由于listdir函数在处理损坏磁盘时引发的异常未被捕获，最终导致服务崩溃。文章提到了磁盘I/O错误的系统日志记录，并建议在相关函数中增加异常处理以防止服务中断。

摘要由CSDN通过智能技术生成

转载请说明出处：http://blog.csdn.net/cywosp/article/details/23848083

之前在项目中做了一个监控swift各个服务运行情况的模块，swift中的服务包括：container-updater , account-auditor, object-replicator, proxy-server, container-replicator, object-auditor, object-expirer, container-auditor, container-server, account-server, account-reaper, container-sync, account-replicator, object-updater, object-server共15个，其中proxy-server, account-server, container-server, object-server这四个服务是需要监控的重中之重，它们不工作意味着swift集群就不能对外提供服务了，因此在集群故障处理中，监控这些服务状态就显得尤为重要。

前段时间监控模块在运行时产生了一些问题让发现了swift的一些小Bug，其中就有当加入到swift中的硬盘损害时导致container-sync服务停止的问题。该Bug的具体log表现如下：

Apr 15 10:07:24 0d7d51e8-024e-3a94-a310-46cf5426b3f9 container-sync UNCAUGHT EXCEPTION#012Traceback (most recent call last):#012 File "/usr/bin/swift-container-sync", line 23, in <module>#012 run_daemon(ContainerSync,