storm的容错保障机制
- storm发送完整性数据的容错机制
当storm在传递数据,如在spout传递tuple时会随机生成一个16位的二进制数,
在传递数据的时候,下一个bolt不仅会收到一个tuple,而且还会收到这个16位的二进制数,为了保证传递数据的完整性,会将这两个二进制数进行异或运算,如果异或的结果是16个0的二进制数,那么说明传递的数据是完整的,反之,说明传递的数据是不完整的。
storm的容错机制ack无法保证数据不被重复计算,但是可以保证数据至少被正确处理一次。
storm同步实时分析
- 如果要停掉集群中节点所开启的所有的服务可以使用命令:killall java
kafka安装kafka
查看storm资料中kafka的安装文档
flume安装
查看storm资料中flume的安装文档
模拟电信项目
1、在eclipse中导入以下两个项目:(在stotm资料当中)
2、查看storm资料中的中国移动项目的需求文档和中国移动项目的部署文档
storm的事务机制
查看storm的storm的事务机制的ppt