石权的博客

基本概念1. 逻辑概念 概念 含义 Spout 源数据组件，从数据源拉取数据，storm框架不断调用Spout接口读取数据 Bolt 数据处理组件 Tuple 数据传递单元 Topology 数据被一个接一个的Bolt处理，形成拓扑 Stream Spout不停的接收并产生源数据，形成数据流2. 组件2.1 基本组件 组建 作用 Nimbus

利用trident从kafka中读取数据的demo

1. 简介Storm作为流式计算框架，提供了spout和bolt接口，我们自己实现接口，然后将spout和bolt组合成topology，就构成了一个流的处理过程。Trident 是Storm的上层封装，提供更加上层的操作方法和接口，提供基于状态的操作。多数情况下，我们实际接触的是Trident

如何理解有状态和无状态啊？一个数据淌过拓扑的时候，有状态相对于无状态的区别，就是我们知道它从哪里来的，知道当前流经过了那些节点的处理。是错误回滚的先决条件。这篇文档从Spout和State两方面入手，着重讲数据重放和出错处

storm可同时处理窗口内的所有tuple。可以从时间或数量上来对窗口进行划分，窗口由如下两个因素决定：窗口的长度，可以是时间或Tuple数量；滑动间隔(sliding Interval)，同样也可以是时间或Tuple数量，后面Sliding Window中介绍；

产品 模型 API 保证次数 容错机制 状态管理 延时 吞吐量 成熟度 Strom Native 组合式 At-least-once Record ACKs 无 Very Low Low High Trident mirco-batching 组合式 Exectly-once Record ACKs 基于操作的

Heron作为Twitter下一代的流式计算产品。随着业务量的增长，Storm已经不能满足需求，于是Heron诞生。诞生之初Twitter对于Storm的弊端和Heron的设计做了详细的说明。以下信息总结自Twitter官方说明。也许对于当前各种流式计算产品的分析稍有帮助。

官方文档地址：http://storm.apache.org/documentation/Trident-tutorial.html简介这个手册，首先就给了WordCount的例子。WordCount就特么这么好理解么，接口文档上说明少的掉渣啊。吐槽完毕，例子主要分为两个步骤：1. 构建数据源；2. 构建拓扑。1. 创造源数据 FixedBatchSpout spout = new FixedBat

Trident WordCount代码示例完整代码package com.test;import backtype.storm.Config;import backtype.storm.LocalDRPC;import backtype.storm.StormSubmitter;import backtype.storm.generated.AlreadyAliveException;imp

1. 下载地址： http://storm.apache.org/releases.html2. 安装步骤2.1 依赖软件Zookeeper，Python..2.2 解压zip文件说明，在所有Zookeeper节点解压2.3 修改配置注意点: 配置所有文件都要改啊。$ vi apache-storm-0.10.0/conf/storm.yaml ########### These MUST b