Storm 实时数据处理
鑫火
永不言弃
展开
-
一、storm 介绍及部署
storm介绍 概念:storm是一种实时的分布式的流式计算框架。可以用来实时的处理流式数据,因为它是基于内存进行计算的,因此它的计算速度比较快,它与map/reduce相比具有实时性高,计算速度较快的特点,但是它相比于map/reduce而言,它处理的数据较小。map/reduce适合处理数据量较大的离线数据。 ...原创 2019-08-16 16:27:22 · 248 阅读 · 0 评论 -
二、storm 深入学习及案例讲解
storm的容错保障机制 storm发送完整性数据的容错机制 当storm在传递数据,如在spout传递tuple时会随机生成一个16位的二进制数, 在传递数据的时候,下一个bolt不仅会收到一个tuple,而且还会收到这个16位的二进制数,为了保证传递数据的完整性,会将这两个二进制数进行异或运算,如果异或的结果是16个0的二进制数,那么说明传递的数据是完整的,反之,说明传递的数据是不完整的。...原创 2019-08-21 09:44:58 · 164 阅读 · 0 评论