storm
藏红
不要担心自己走错路误了终身,坚持并保持进步才是正道。
展开
-
Storm+Kafka集成
前面介绍了 Storm环境的搭建 和 Kafka环境的搭建。分别是下面两篇文章: http://blog.csdn.net/ch717828/article/details/50748872 http://blog.csdn.net/ch717828/article/details/50718783 这篇介绍了如何将 Storm 和 Kafka进行整合,并且运行了一个代码实例原创 2016-02-26 13:24:37 · 2669 阅读 · 1 评论 -
Strom中IBasicBolt与IRichBolt的区别
Storm 中 IRichBolt 与 IBasicBolt 在Storm中,如果要保证消息发送成功,每个处理tuple,都必须进行ack或者fail。因为storm会追踪每个tuple要占用内存。所以如果你不ack/fail每一个tuple,那么最终年会看到OutOfMemory错误。 对于SplitSentence这一部分,如果用IRichBolt来做(想写得更少,可以直接继承BaseRi原创 2016-09-17 10:36:30 · 5341 阅读 · 0 评论 -
Strom的Stream_id
在storm的collector中(如SpoutOutputCollector)会发现 collector.emit() 方法最终调用的是 public List<Integer> emit(String streamId, List<Object> tuple, Object messageId) { return this._delegate.emit(streamId, tu原创 2016-09-16 23:14:18 · 2891 阅读 · 1 评论 -
Storm中遇到的坑
FieldsGroup的并行度没有起作用问题描述设置将要进行fieldsGrouping的bolt的并行度为3,但实际上的task数量只有2。下面通过样例来重现一下问题。 代码中有一个ProduceRecordSpout用来发射字符文本(“type”,”line”),SplitRecordBolt将ProduceRecordSpout发送的文本按空格进行切割,向下发送(“type”,”word”)原创 2016-09-15 16:24:31 · 1132 阅读 · 0 评论 -
storm学习(3) Trident
准备关于Trident的是spout/bolt的高级抽象,类似于 Hibernate/Mybatis与 JDBC的关系。下面是我学习Trident过程的一些记录理解TridentTopology与普通的topology一样,Trident也需要创建一个topologyTridentTopology topology = new TridentTopology();之前的两篇文章了解了创建的topol原创 2016-08-18 14:42:54 · 2143 阅读 · 1 评论 -
storm学习(2) 进阶word_count 程序
准备前面一篇已经介绍了最基础的 word_count程序。 现在有一个新的需求,希望每一次spout发送的数据流在发送失败后能够重新发送编码SentenceSpout import backtype.storm.spout.SpoutOutputCollector; import backtype.storm.task.TopologyContext; import backtype.storm原创 2016-08-17 12:24:19 · 2007 阅读 · 0 评论 -
storm学习(1) word_count 程序
准备前面几篇文章已经介绍了如何搭建storm集群。接下来学习如何编写storm代码,使用maven构建,本地模拟集群测试代码编码maven 配置使用maven来配置需要的jar包,只需要一个0.9.2版本的 storm即可 <dependencies> <dependency> <groupId>org.apache.storm</groupId>原创 2016-08-16 17:11:05 · 3429 阅读 · 0 评论 -
搭建Storm集群
今天完成了storm集群的搭建,写一篇博客记录一下,方便以后工作。 总体分为5步。 1. 机器准备 我准备了3台机器 , 其充当的角色分别是 nimbus : 10.101.214.71 zookeeper: 10.101.214.71, 10.101.214.73 , 10.101.214.74 supervisor : 10.101原创 2016-02-22 20:02:44 · 3281 阅读 · 0 评论 -
kafka生产者producer的Java实现。
继前面几篇 1. 搭建Storm集群 http://blog.csdn.net/ch717828/article/details/50718783 2. kafka集群环境搭建 http://blog.csdn.net/ch717828/article/details/50748872 3. storm+ kafka集成 http://blog.csdn.net/ch717原创 2016-03-07 12:14:29 · 17344 阅读 · 2 评论 -
kafka集群环境搭建
今在完成 storm集群搭建之后,希望集成 kafka。 此文记录搭建的过程。 storm集群搭建可以看 http://blog.csdn.net/ch717828/article/details/50718783 1. 机器准备 我准备了3台机器 ,分别是 10.101.214.71 10.101.214.73原创 2016-02-26 13:10:05 · 5261 阅读 · 0 评论 -
Storm的有环Topology
问题来源初学Storm, 学习文档上定义Storm的Topology为一个有向无环图。 今天想到,如果Topology中有环又会如何? 所以用一段简单的代码进行了实验结论实验结论是,Topology是可以有环的实验过程定义拓扑Created with Raphaël 2.1.0SimpleSpoutSimpleSpoutFirstBoltFirstBoltSecondBoltSecondBoltgl原创 2017-04-10 15:19:13 · 623 阅读 · 0 评论