Storm
eyoulc123
这个作者很懒,什么都没留下…
展开
-
Storm 基础 -- spout与bolt设置多重grouping
Topology的代码如下:TopologyBuilder builder = new TopologyBuilder();//WordReaderSpout会从文件中读取数据,数据用shuffle的方式发送给bolt进行处理//当文件读取完成后,会发送一个global消息builder.setSpout("word-reader",new WordReaderSpout());builde原创 2016-05-09 15:09:13 · 2022 阅读 · 0 评论 -
Storm2.0 源码分析-- 任务提交
1. 整体说明整个代码分析是在storm-2.0的基础上面。 整个过程可以分为5步: 1. 用户执行storm jar的命令提交任务到Nimbus上面 2. Nimbus的定时线程查看是否有需要运行的任务 3. 当有任务时,发送消息到Supervisor 4. 启动一个logWriter进程 5. LogWriter启动实际的Worker进程2. 任务提交用户的任务都...原创 2018-08-06 19:19:45 · 837 阅读 · 0 评论 -
Storm2.0源码分析 -- 消息分发
主函数的处理程序在main函数中,会设置spout, bolt的分发方式。 其代码如下:builder.setBolt("word-normalizer", new WordNormalizerBolt(), 1) .shuffleGrouping("word-reader");查看shuffleGrouping的代码,可以跟踪到:publi...原创 2018-08-06 19:29:45 · 705 阅读 · 0 评论