scl1991的专栏

默认安装storm1.0.1之后，启动一个topology任务后storm ui页面没有emit数据，查看了下nimbus日志，显示如下：2016-07-09 06:45:41.239 o.a.s.d.nimbus [INFO] desired replication count of 1 not achieved but we have hit the max wait time 60 so m

一、配置集群storm.yaml文件，配置drpc.server。二、开启drpc服务，storm drpc。三、编写DrpcTopology程序。如下：import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.LocalDRPC;import org.a

1. DRPC介绍Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC，而是通过在Topoloye中的spout中建立一个TCP/HTTP监听来接收数据，在最后一个Bolt中将数据发送到指定位置也是可以的。这是后话，后面再进行介绍。而DPRC则是Storm提供的一套开发组建，

Short Description:In this article we explore the support for windowing operations and stateful processing that were recently added to Apache Storm.ArticleIntroductionApache Storm is a fr

1、原理\\Storm实现一组特殊的'acker’ task来track每一个spout tuple, 同时acker task的个数你可以根据tuple的数量来配置,所有被产生的tuple都会有一个随机的64bit的id用于被track。tuple之间通过emit时的anchor形成tuple tree, 并且每个tuple都知道产生它的spout tuple的id (通过不断的copy传递

6. Native Streaming Window API6.1. 功能介绍storm 1.0.X支持在窗口里处理一组tuple,窗口需要给定两个参数：窗口长度和滑动间隔。窗口计算的典型例子是可用于计算过去一小时最热门的Twitter话题storm提供两种类型的窗口： Sliding Window：一组Tuple被包含在一个窗口里，随着滑

11. Tuple Sampling and Debugging11.1. 功能介绍在调试Topology的过程中，很多Strom用户添加了“debug”Bolt或者Trident功能，以记录流经Topology的数据信息，在生产部署的时候移除或者禁用它们。如今Storm UI包含这一功能，可以使你直接通过Storm UI对流经Topology或者单个组

一、概要     1.1 Storm(简介)     Storm是一个实时的可靠地分布式流计算框架。     具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。1.2 Tri

public class Output extends BaseBasicBolt{ @Override public void execute(Tuple tuple, BasicOutputCollector arg1) { String str=tuple.getString(0); String str1=tuple.getString(1); arg1.emit(new

How to change the parallelism of a running topology, 动态的改变并发度Storm支持在不restart topology的情况下, 动态的改变(增减)worker processes的数目和executors的数目, 称为rebalancing. 通过Storm web UI, 或者通过storm rebalance命令, 见下面的例

Storm高级原语（一） --Transactional topologyTransactional topology是一个0.9版本中被弃用的原语，取而代之的是trident框架。（关于trident请参考：《Storm高级原语（三） --Trident topology 》） Storm通过保证每个tuple至少被处理一次来提供可靠的数据处理。关于这一点最常被问到的问题就是“既然t

1、在定义Topology实例过程中，定义好Spout实例和Bolt实例2、在提交Topology实例给Nimbus的过程中，会调用TopologyBuilder实例的createTopology()方法，以获取定义的Topology实例。在运行createTopology()方法的过程中，会去调用Spout和Bolt实例上的declareOutputFields()方法和getCompone

Storm在集群上运行一个Topology时，主要通过以下3个实体来完成Topology的执行工作：1. Worker（进程）2. Executor（线程）3. Task下图简要描述了这3者之间的关系：1个worker进程执行的是1个topology的子集（注：不会出现1个worker为多个topology服务）。1个worker进程会启动1个或多个executor

Storm是一个分布式的、高容错的实时计算系统。Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Map和Reduce原语，使我们对数据进行批处理变的非常的简单和优美。同样，Storm也对数据的实时计算提供了简单Spout和Bolt原语。Storm适用的场景：1、流数据处理：Storm可以用来用来处理源源不断的消息，并将处理之后的结果保存到持久化

Storm 集群监控报警-问题排查记录1. 问题一、cpu繁忙1.1. 报警信息PROBLEM P0 Endpoint:xxx Metric:cpu.idle Tags: all(#3): 12.84751⇐20 Note:cpu繁忙 Max:3, Current:1 Timestamp:2016-07-27 15:10: