storm
文章平均质量分 54
疯狂学习的白菜
途虽远,我必达!
展开
-
大数据之storm(一) --- storm简介,核心组件,工作流程,安装和部署,电话通信案例分析,集群运行,单词统计案例分析,调整并发度
一、storm简介--------------------------------------------------------- 1.开源,分布式,实时计算 2.实时可靠的处理无限数据流,可以使用任何语言开发 3.适用于实时分析,在线机器学习,分布式PRC,ETL 4.每秒可以处理上百万条记录(元组) 5.可拓展,容错,并可保证数据至少处理一...原创 2018-09-28 13:02:10 · 379 阅读 · 0 评论 -
大数据之storm(二) --- 分组策略,确保消费机制ack-fali,双集合确保消费,storm上集成kafka,storm上集成hbase
一、分组策略grouping------------------------------------------------------------------------- 1.shuffle -- 随机分组,无规律 2.field -- 根据关键字的key进行hash处理,相同的key会进入同一组 3.all -- 将数据发送给所有的下家,每个下家都会持有一个消...原创 2018-09-28 22:45:14 · 219 阅读 · 0 评论