Storm相关
点点滴滴z
努力的菜鸟..
展开
-
Storm的简单分析
Storm的详细分析 Storm人的概述 Storm是Twitter开源的一个实时处理框架 Storm能够实现高频数据和大规模数据的实时处理 Storm与MapReduce的区别Storm type MapReduce Storm 数据来源 hdfs上TB级别历史数据 实时新增的某一条数据 处理过程 map阶段和reduce阶段 可以有很多阶段包含spout以及bolt ...原创 2019-08-19 20:01:12 · 272 阅读 · 0 评论 -
Storm高级及优化
Storm高级 Storm核心之流分组 stream grouping 分类 Shuffle Grouping:随机分组。将stream中的tuple缓存后随机发放给所有bolt,可以使每个bolt中的数据量大致相等(可以较好的实现负载均衡) Fields Grouping:按字段分组,例如按groupID字段进行分组,将同一个分组的tuple分到统一任务中 All Grouping:广播发送...原创 2019-08-20 21:02:11 · 293 阅读 · 0 评论