storm
文章平均质量分 71
真诚的程序员
nobody likes plastic flowers
通信设备公司和互联网公司工作经历,一直使用C/C++,但用python写实用小工具,最近学习的一门语言是Go。喜欢新鲜事物,爱看书,关注大数据,正研究Storm。
展开
-
基于Eclipse的Storm应用开发
1、基于Maven的开发2、基于非Maven的开发原创 2015-12-10 11:00:33 · 2816 阅读 · 0 评论 -
Storm集群的安装
到Storm的官方网站Document下的Setup and deploying栏目下的Setting up a Storm Cluster安装Storm分为如下5个步骤:1、安装zookeeper集群2、在Nimbus和Supervisor机器上安装JAVA SDK 6和python2.6.63、安装Storm包,解压到Nimbus和Supervisor机器4、配置Sto原创 2015-11-24 17:04:04 · 5038 阅读 · 0 评论 -
Zookeeper集群安装
请先安装好JDK1.6或者更高版本,导出JAVA_HOME以及PATH到zookeeper网管下载稳定版本3.4.6,将压缩包解压到当前目录:tar -xzf zookeeper-3.4.6.tar.gz,并将解压目录改名:mv zookeeper-3.4.6 zk修改~/.profile,如下:并执行source ~/.profile,使得环境变量生效 导出环境变量:export ZK_HO原创 2016-01-14 11:37:10 · 1114 阅读 · 0 评论 -
Storm Trident API总结-2
Storm Trident, Trident State, Trident API原创 2015-12-21 16:52:57 · 1097 阅读 · 0 评论 -
Storm资源列表
1、Storm官网2、JStorm github地址,阿里开源的Storm改进版本,里面有关于JStorm的中文文档3、徐明明的博客,里面有官网文档的翻译以及文章4、百度网盘里面有很多关于Storm的教学视频,建议看炼数成金的视频,相对于其他的视频要好一些5、storm书籍,这些书籍应该都在百度网盘上能找到:《Learning Storm》《Storm Blueprints: Pa原创 2015-12-10 17:07:05 · 560 阅读 · 0 评论 -
Storm Trident API总结-1
Storm Trident API的介绍原创 2015-12-16 18:30:29 · 4283 阅读 · 2 评论 -
Storm和Kafka的集成安装和测试
1、先保证Storm集群已经安装Storm集群的安装可以参考文章:Storm集群的安装,Kafka的安装和测试也可以参考apache kafka官网上的Quick Start2、安装Kafka集群:2.1 下载Kafka包,我们这里选择kafka_2.9.2-0.8.1.tgz版本进行安装,解压到安装目录:tar -xzf kafka_2.9.2-0.8.1.tgz原创 2015-11-27 16:00:06 · 3469 阅读 · 0 评论 -
Storm的事务总结
我们利用前面所说的Storm可靠性机制,可以很容易的提供至少一次的处理(at least once processing):也就是在一个tuple超时或者fail的时候,Storm会调用Spout的fail函数,在这里,我们可以实现一个重发tuple的机制,当然,这种重发一般都建立在消息队列中间件的重发功能上的。我们考虑一种计数Count场景,看简单的重发机制有什么问题。假如这个Topology一原创 2015-12-11 17:01:30 · 4632 阅读 · 0 评论 -
Storm可靠性总结
本文主要参考了Storm的可靠性文档Storm的可靠性是通过一个叫做Acker的模块来实现的,它会跟踪Spout、Bolt发送tuple时所形成的tuple树,看tuple树是成功处理(tuple叶子是否被都被处理)还是失败(只要一个tuple叶子失败了)了。除了Acker要跟踪tuple树的处理状态外,当然还需要Spout和Bolt来配合,才能达到Storm的可靠性。那么如何来配合呢?针对S原创 2015-12-11 10:32:54 · 1630 阅读 · 0 评论 -
storm-starter的运行
1、下载storm-starter,可以到https://github.com/nathanmarz/storm-starter去下载zip包,也可以通过git命令去clone:git clone https://github.com/nathanmarz/storm-starter.git2、由于start-starter是基于maven作为项目构建工具的,我们还要安装maven:原创 2015-11-25 12:22:08 · 4852 阅读 · 0 评论 -
Storm DRPC
DRPC简介DRPC是为了实现并发的RPC架构而实现的,其中D就是Distributed,利用Storm分布式、并发的能力,实现RPC的高性能。DRPC架构DRPC的架构如图: 客户端:用来发起DRPC的调用DRPC Server:实现与客户端的对接,传递参数给Storm,返回结果给客户端。DPRCSpout: 用于连接DRPC Server和Topology,传递参数给Topology。To原创 2015-12-22 16:34:00 · 2662 阅读 · 0 评论