![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
storm
贫僧洗头爱飘柔
这个作者很懒,什么都没留下…
展开
-
Storm环境搭建
1. 集群环境-集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群注意:所有的集群上都需要配置hosts vim /etc/hosts IP地址1 storm01 zk01 hadoop01 IP地址2 storm02 zk02 hadoop02 IP地址3 storm03 zk03 hadoop03Master 172.16.11...原创 2018-06-30 11:22:05 · 638 阅读 · 0 评论 -
Storm单词技术案例(重点)
1、功能说明设计一个topology,来实现对文档里面的单词出现的频率进行统计。整个topology分为三个部分: l RandomSentenceSpout:数据源,在已知的英文句子中,随机发送一条句子出去。 l SplitSentenceBolt:负责将单行文本记录(句子)切分成单词 l WordCountBolt:负责对单词的频率进行累加2、项目主要流程3、RandomSe...原创 2018-06-30 11:24:59 · 354 阅读 · 0 评论 -
storm中StreamGrouping详解
Storm里面有7种类型的streamgroupingl Shuffle Grouping: 随机分组, 随机派发stream里面的tuple,保证每个bolt接收到的tuple数目大致相同。l Fields Grouping:按字段分组,比如按userid来分组,具有同样userid的tuple会被分到相同的Bolts里的一个task,而不同的userid则会被分配到不同的bolts里的task...原创 2018-06-30 11:25:58 · 465 阅读 · 0 评论 -
Storm详解
(一) Storm介绍学习storm需要掌握以下几个知识点1、 离线计算是什么?2、 流式计算是什么?3、 流式计算与离线计算的区别?4、 Storm是什么?5、 Storm与Hadoop的区别?6、 Storm的应用场景及行业案例7、 Storm的核心组件(重点掌握)8、 Storm的编程模型(重点掌握)9、 流式计算的一般架构图(重点掌握)10、 集群部署的基本流程11、 ...原创 2018-03-18 22:47:11 · 1881 阅读 · 0 评论 -
storm实践:用storm写wordcount
1、编程模型 DataSource:外部数据源 Spout:接受外部数据源的组件,将外部数据源转化成Storm内部的数据,以Tuple为基本的传输单元下发给Bolt Bolt:接受Spout发送的数据,或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。介质可以是Redis可以是mysql,或者其他。 Tuple:Storm内部中数据传输的基本单元,里面...原创 2018-06-30 17:53:09 · 1265 阅读 · 0 评论