storm
CottonDuke
这个作者很懒,什么都没留下…
展开
-
storm从kafka中读数据
==========================================定义从kafka中读出的数据import java.io.UnsupportedEncodingException;import java.util.List;import backtype.storm.spout.Scheme;import backtype.storm.tuple.F转载 2016-12-14 23:33:50 · 3467 阅读 · 0 评论 -
jstorm 2.2.1安装
1下载安装包http://www.apache.org/dyn/closer.cgi/hbase/ http://www.jstorm.io/Downloads.html2解压tar -zxvf http://www.jstorm.io/Downloads.html -C /app3修改conf/storm.yaml storm.zooke原创 2017-05-22 15:11:53 · 504 阅读 · 0 评论 -
bolt BaseBasicBolt BaseRichBolt
baseBasicBolt 自带ack 机制下面是BasicBoltExecutor的一段源码,如果你写的bolt跑出FailedException 异常,basicBolt会调用fail,如果处理成功,会调用ack方法public void execute(Tuple input) { _collector.setContext(input); try {原创 2017-04-16 16:21:28 · 986 阅读 · 0 评论 -
storm ack
Storm的ack机制在项目应用中的坑正在学习storm的大兄弟们,我又来传道授业解惑了,是不是觉得自己会用ack了。好吧,那就让我开始啪啪打你们脸吧。先说一下ACK机制: 为了保证数据能正确的被处理, 对于spout产生的每一个tuple, storm都会进行跟踪。 这里面涉及到ack/fail的处理,如果一个tuple处理成功是指这个Tuple以及这个Tuple产生的所有Tuple都被成功转载 2017-04-14 21:13:21 · 612 阅读 · 0 评论 -
storm 问题
Unable to access file:///log4j2/cluster.xml java.io.FileNotFoundException2016-12-13Storm 0.10.2 启动的时候日志配置出错ERROR StatusLogger Invalid URL C:/Users/xyzabc/apache-storm-0.10.0-beta/log4j2/转载 2017-04-01 13:53:49 · 2435 阅读 · 0 评论 -
storm安装
1、安装一个zookeeper集群2、上传storm的安装包,解压3、修改配置文件storm.yaml#所使用的zookeeper集群主机storm.zookeeper.servers: - "weekend05" - "weekend06" - "weekend07"#nimbus所在的主机名nimbus转载 2016-10-25 22:53:25 · 567 阅读 · 0 评论 -
storm 可靠性
work --Executor--taskstorm 启动一个topology后,启动work,work的信息存在zookeeper里,这个时候,不管是nimbus还是supervisor挂掉了,都不影响work的正常运行。运行过程中如果一个work挂掉了,storm检测不到work的心跳,这时候storm会重新在启动一个work原创 2017-04-13 22:20:54 · 412 阅读 · 0 评论 -
storm 流分组策略(Stream grouping)
配置并行度works jvm:在一个节点可以运行多个jvm进程,一个topology可以包含一个或者多个worker并行的泡在不同的machine,所以一个work progress就是执行一个topology的子集并且一个worker只能对应一个toplogyexectors在一个worker可以包含一个或者多个tasks,但默认每个excutor只执行一个task,一个work转载 2017-03-23 19:26:15 · 2918 阅读 · 0 评论 -
storm java编程
==================spout================================import backtype.storm.spout.SpoutOutputCollector;import backtype.storm.task.TopologyContext;import backtype.storm.topology.OutputFieldsDeclarer转载 2016-12-14 23:51:31 · 586 阅读 · 0 评论