storm
文章平均质量分 83
blackproof
这个作者很懒,什么都没留下…
展开
-
kafka storm报错
t>(NimbusClient.java:36) at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17) at backtype.storm.utils.Utils.downloadFromMaster(Utils.java:190) at com.alipay.bluewhale.core.daemon.supervisor.SynchronizeSupervisor.download原创 2015-07-07 16:03:27 · 83 阅读 · 0 评论 -
storm事务
一个msg是否发送成功,进而spout可以重发该msg,保证一个msg在出错的情况下至少被重发一次。但是在一些事务性要求比较高的场景中,需要保障一次只有一次的语义,比如需要精确统计tuple的数量等等。Storm 0.7.0引入了Transactional Topology, 它可以保证每个tuple”被且仅被处理一次”, 这样你就可以实现一种非常准确,非常可扩展,并且高度容错方式来实现计数类应用。 2、API介绍 IBatchBolt有三个方法 execute(Tuple tuple)原创 2015-06-23 17:30:20 · 121 阅读 · 0 评论 -
storm drpc
Storm DRPC的资料,转载必须以超链接形式标明文章原始出处及本文翻译链接。 分布式RPC(distributed RPC,DRPC)用于对Storm上大量的函数调用进行并行计算过程。对于每一次函数调用,Storm集群上运行的拓扑接收调用函数的参数信息作为输入流,并将计算结果作为输出流发射出去。 DRPC本身算不上Storm的特性,它是通过Storm的基本元素:streams,spouts,bolts,topologies而衍生的一个模式。DRPC可以单独作为一个独立于Storm的库发布,但由于其重原创 2015-06-23 16:07:45 · 167 阅读 · 0 评论 -
storm trident api
ion { public void execute(TridentTuple tuple, TridentCollector collector) { for(int i=0; i < tuple.getInteger(0); i++) { collector.emit(new Values(i)); } } } 等同于pig的filter mystream.each(new Fields(&q原创 2015-06-23 16:02:42 · 51 阅读 · 0 评论 -
supervisor安装配置
python 包。 distribute是setuptools的取代(Setuptools包后期不再维护了),pip是easy_install的取代。 pip的安装需要setuptools 或者 distribute,如果你使用的是Python3.x那么就只能使用distribute因为Python3.x不支持setuptools。 见下图: 115413273.png #wget http://python-distribute.org/distribute_setup.py #python原创 2015-07-07 20:42:36 · 77 阅读 · 0 评论 -
kafka storm 命令
ost36:2181,host37:2181,host38:2181 bin/kafka-topics.sh --create --zookeeper host34:2181,host36:2181,host37:2181,host38:2181 --topic dirkzhang bin/kafka-topics.sh --describe --zookeeper host34:2181,host36:2181,host37:2181,host38:2181 --topic dirkzhang原创 2015-06-03 15:10:50 · 70 阅读 · 0 评论 -
Storm安装
eromq-2.1.7 ./configure make sudo make install configure报错: configure: error: cannot link with -luuid, install uuid-dev. #yum install libuuid-devel 安装jzmq git clone https://github.com/nathanmarz/jzmq.git cd jzmq ./autogen.sh ./config原创 2015-01-13 16:29:04 · 73 阅读 · 0 评论 -
storm Async loop died! & reconnect
storm 在有supervisor重启的时候,topology报错,导致所有spout不消费: 2015-07-15T09:48:26.470+0800 b.s.util [ERROR] Async loop died! java.lang.RuntimeException: java.lang.RuntimeException: Client is being closed, a...原创 2015-08-06 13:48:16 · 297 阅读 · 0 评论 -
supervisor安装配置
pip 是一个安装和管理 Python 包的工具 , 是 easy_install 的一个替换品。本文将详细说明 安装 pip 的方法和 使用 pip 的一些基本操作如安装、更新和卸载 python 包。 distribute是setuptools的取代(Setuptools包后期不再维护了),pip是easy_install的取代。 pip的安装需要setuptools 或者 di...原创 2015-07-07 20:42:36 · 65 阅读 · 0 评论 -
storm trident api
Trident API partition本地操作,无需网络io 等同于pig的generate mystream.each(new Fields("b"), new MyFunction(), new Fields("d"))) public class MyFunction extends BaseFunction { public void execut...原创 2015-06-23 16:02:42 · 77 阅读 · 0 评论 -
storm Async loop died! & reconnect
imeException: Client is being closed, and does not take requests any more at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:128) ~[storm-core-0.9.3.jar:0.9.3] at backtype.storm.utils.DisruptorQueue.consumeBat原创 2015-08-06 13:48:16 · 336 阅读 · 0 评论