storm on yarn 如何支持 storm 0.9.2

storm on yarn的git地址:https://github.com/yahoo/storm-yarn.git

2014-10-29 17:11:43

阅读数 858

评论数 0

storm-kafka-plus源码阅读

ZkState.java 主要是维护了与zookeeper之间的连接,以及如果对zk节点数据进行序列化和反序列化. DynamicBrokersReader.java 维护了有一个与zk之间的连接,维护了topic,zkroot.获取分区信息.  getBrokerInfo获取分区与par...

2014-03-05 23:57:01

阅读数 633

评论数 0

storm异常

★ yaml跟我们一般用的属性配置文件有所不同, 它的要求更严格一些, 因此在往conf/storm.yaml中添加配置的时候必须注意. 比如必须注意开始位置和冒号后面的空格, 否则配置不会生效. 关于yaml相关的资料, 网上有很多资料可以参考 如何检查配置是否生效, 可以使用命令: stor...

2014-01-26 16:33:13

阅读数 39

评论数 0

Yahoo!开源运行在Hadoop上的Storm——Storm-YARN

Apache Hadoop是大数据处理与批处理的事实标准,而Twitter Storm则很快地成为实现大规模事件处理的一种标准。遗憾的是,直到最近,实现Storm和Hadoop所需要的集群在物理上仍然有所不同。上周,Yahoo!宣布开放运行在Hadoop集群上的Storm——即Storm-YARN...

2013-06-22 15:15:25

阅读数 668

评论数 0

ZeroMQ的学习和研究

分享到: 一、ZeroMQ的背景介绍 引用官方的说法: “ZMQ(以下ZeroMQ简称ZMQ)是一个简单好用的传输层,像框架一样的一个socket library,他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库,可在多个线程、内核和主机盒之间弹性伸缩。ZM...

2013-06-13 18:59:58

阅读数 557

评论数 0

Storm-源码分析-Topology Submit-Client

转载自:http://www.cnblogs.com/fxjwind 1 Storm Client 最开始使用storm命令来启动topology, 如下 storm jar storm-starter-0.0.1-SNAPSHOT-standalone.jar storm...

2013-06-10 20:57:49

阅读数 769

评论数 0

Stormstarter-RollingTopWords

- 计算top N words的topology, 用于比如trending topics or trending images on Twitter. 实现了滑动窗口计数和TopN排序, 比较有意思, 具体分析一下代码    Topology 这是一个稍微复杂些的topolog...

2013-06-10 20:55:13

阅读数 765

评论数 0

Twitter Storm: Transactional Topolgoy简介

转载自:http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/ 概述 Storm通过保证每个tuple至少被处理一次来提供可靠的数据处理。关于这一点最常被问到的问题就是“既然tuple可能会被重写发射(...

2013-06-08 18:52:17

阅读数 631

评论数 0

storm介绍

场景 伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦,相反,如果这个宝贝要等到第二天或者更久才可以...

2013-06-08 13:45:16

阅读数 442

评论数 0

KAFKA分布式消息系统

http://blog.chinaunix.net/uid-20196318-id-2420884.html Kafka[1]是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运...

2013-05-28 19:01:26

阅读数 466

评论数 0

storm的使用笔记

嗯,随时记随时更新。 1. 关于log 用storm jar ...将项目提交给storm集群后,想查看本项目的log信息,要到supervisor机器的:storm安装路径/logs/worker-number.log(其中的number视实际情况而定)中查看。 如果是用d...

2013-05-22 17:36:25

阅读数 1078

评论数 0

storm的日志问题

由于目前的流计算项目要加监控和报警,因此规范的日志是必须的条件。测试了以后才发现storm的日志原来有个很大的坑。 基本问题如下:storm采用的也是log4j去打印日志,默认的日志配置文件是storm安装目录下面的storm/log4j/storm.log.properties。而且文件名会以...

2013-05-22 17:34:31

阅读数 6960

评论数 1

addlog

addlog

2013-05-19 23:33:26

阅读数 78

评论数 0

Flume日志收集

一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 设计目标: (1) 可靠性 当节点出现故障时,日志能够被传送到其他节点上而不会丢失。...

2013-05-16 23:06:58

阅读数 509

评论数 0

storm-nimbus-hdfs

https://github.com/Frostman/storm-nimbus-hdfs/tree/master/src https://github.com/jerrylam/storm-hdfs

2013-05-16 01:05:51

阅读数 570

评论数 0

小议Storm输出到hdfs的各种方案

小议Storm输出到hdfs的各种方案(byjacobzeng fromWeibo) 1)方案较多,从数据收集角度分为:NFS收集、Scribe/Flume等收集、不收集(多个Bolt并行写入),从数据写入角度分为:分段写入本地文件后Put、Fuse-HDFS写入、dfsCLient写...

2013-05-16 00:50:42

阅读数 1009

评论数 0

storm简介

场景 伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦,相反,如果这个宝贝要等到第二天或者更...

2013-05-09 23:03:07

阅读数 399

评论数 0

storm版本

zookeeper:http://archive.apache.org/dist/zookeeper/zookeeper-3.3.3/zookeeper-3.3.3.tar.gz zermq:http://download.zeromq.org/zeromq-2.1.7.tar.gz st...

2013-05-08 22:11:30

阅读数 470

评论数 0

Error on initialization of server mk-worker (stormconf.ser is missing)

Error on initialization of server mk-worker (stormconf.ser is missing) 2 名作者发布了 13 个帖子     Moshe ...

2013-05-08 19:32:49

阅读数 1959

评论数 1

witter Storm 安装实战

实际上安装Twitter Storm是上周三的事情了,周三的时候安装了一个单机版的,用WordCount跑了一下,感觉还不错。周四试着在集群上安装,碰到了一些问题,一直折腾到周五,留了个尾巴(没有做测试),这周一终于跑了WordCount,先开始出了一些问题,查了很多资料终于解决了。 ...

2013-05-08 13:03:50

阅读数 572

评论数 0

提示
确定要删除当前文章?
取消 删除