xgs

Streams, 流 流作为storm的核心概念, 定义为无限的tuple序列.     什么是tuple?        命名的value序列, 可以理解成Key/value序列, 每个value可以是任何类型, 动态类型不需要事先声明.        Tuple在传输中需要序列化和反序列化, storm集成了普通类型的序列化模块, 用户可以自定义特殊类型的序列化逻

概念    一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology    一个worker可用包含一个或多个executor, 每个component (spout或bolt)至少对应于一个executor, 所以可以说execut

Storm-0.9.0.1大概经过几个步骤 Twitter Storm更新0.9.0.1之后，安装部署变得容易得多了，比起Storm0.8.x的版本，Storm少了zeromq和jzmq的安装，也省去了很多编译这些插件时出现的bug。 1、Storm-0.9.0.1 版本的亮点： 1.1、Netty Transport  Storm 0.9.0.1版本的第一亮点是引入了netty tr

这章讨论Storm's reliability capabilities, 如何保证从spout emit出来的所有tuple都被正确的执行(fully processed)?    What does it mean for a message to be "fully processed"?    首先的问题是, 什么叫tuple或message被fully processed

前言 在前面Storm系列之——基本概念一文中，提到过Storm的Spout应该是源源不断的取数据，不能间断。那么，很显然，消息队列系统、分布式内存系统或内存数据库是作为其数据源的很好的选择。本文就如何集成Kafka进行介绍。 Kafka的基本介绍： http://blog.csdn.net/xeseo/article/details/18311955 准

DRPC ,Distributed Remote Procedure Call       RPC本身是个成熟和古老的概念, Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算    DRPC, 只是storm应用的一个场景, 并且storm提供相应的编程框架, 以方便程序员    提供DRPC server的实现, 并提供对DR

Storm单机+zookeeper集群安装 1、安装zookeeper集群 2、准备机器 10.10.3.44 flumemaster1        zk 10.10.3.129 flumemaster2      zk 10.10.3.132 flumecollector1   zk 10.10.3.115 flumeNg1             stor