storm的容错机制

最新推荐文章于 2023-10-26 14:07:12 发布

Dream__Sky_

最新推荐文章于 2023-10-26 14:07:12 发布

阅读量1.1k

点赞数 1

本文链接：https://blog.csdn.net/Dream__Sky_/article/details/79830532

版权

本文详细介绍了Storm的容错机制，包括Nimbus、Zookeeper、Supervisor和Worker的故障处理。在数据容错方面，重点阐述了Storm的Ack机制，用于确保消息的可靠消费。通过设置消息超时时间、最大待处理数以及关闭Ack机制的方法来控制数据流。此外，还提供了一个简单的Spout实现，展示如何使用Ack机制进行消息确认和重试。

摘要由CSDN通过智能技术生成

集群容错：

1.Nimbus挂掉

如果失去了Nimbus节点，Worker也会继续执行；如果workerye消亡，Supervisor会重启worker。
但是如果没有Nimbus，worker不会被安排到其他主机节点，客户端也无法提交新的任务。

2.zookeeper挂掉

zookeeper有主从结构，挂掉无影响。

3.Supervisor失败

真正执行进程的是worker，所以Supervisor失败不会影响但前运行的任务，且所有状态都保存在zookeeper或磁盘上，Nimbus及时通过zookeeper重启Supervisor即可

4.worker失败

worker是真正的执行节点，每个worker包含数个spout/bolt任务。supervisor负责监控这些任务，当Supervisor重启worker超过了一定的失败重启次数，无法发送心跳到Nimbus，Nimbus将在另一台主机上重新分配worker。

------------------------------------------------

数据容错：

容错机制：

一般来说，分布式数据集的容错性有两种方式：