- 博客(4)
- 收藏
- 关注
RSS订阅原创 storm实践:用storm写wordcount
1、编程模型 DataSource：外部数据源 Spout：接受外部数据源的组件，将外部数据源转化成Storm内部的数据，以Tuple为基本的传输单元下发给Bolt Bolt:接受Spout发送的数据，或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。介质可以是Redis可以是mysql，或者其他。 Tuple：Storm内部中数据传输的基本单元，里面...
2018-06-30 17:53:09
1281
原创 storm中StreamGrouping详解
Storm里面有7种类型的streamgroupingl Shuffle Grouping: 随机分组， 随机派发stream里面的tuple，保证每个bolt接收到的tuple数目大致相同。l Fields Grouping：按字段分组，比如按userid来分组，具有同样userid的tuple会被分到相同的Bolts里的一个task，而不同的userid则会被分配到不同的bolts里的task...
2018-06-30 11:25:58
482
原创 Storm单词技术案例（重点）
1、功能说明设计一个topology，来实现对文档里面的单词出现的频率进行统计。整个topology分为三个部分： l RandomSentenceSpout：数据源，在已知的英文句子中，随机发送一条句子出去。 l SplitSentenceBolt：负责将单行文本记录（句子）切分成单词 l WordCountBolt：负责对单词的频率进行累加2、项目主要流程3、RandomSe...
2018-06-30 11:24:59
368
原创 Storm环境搭建
1. 集群环境-集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群注意：所有的集群上都需要配置hosts vim /etc/hosts IP地址1 storm01 zk01 hadoop01 IP地址2 storm02 zk02 hadoop02 IP地址3 storm03 zk03 hadoop03Master 172.16.11...
2018-06-30 11:22:05
654
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人