nobody

Twitter Storm的单机版安装配置已经在上一篇笔记中写的很清楚了：http://www.linuxidc.com/Linux/2013-05/84272.htm 转自：http://www.linuxidc.com/Linux/2013-05/84307.htm本篇幅主要是讲述在单机版本的基础上扩展成为集群。 集群中所有的机器都需要安装与单机版一样的所需工具软件： 

本地弄了好几个集群，kafka集群，zookeeper集群，jstorm集群，然后，就出现这错，一时间不知最近需要测试一个长连接服务器，数据上需要达到100W的长连接，测试的客户端，一个线程保持一个连接，发现linux服务器默认创建到3200多个线程的时候，就会报错这个错误“java.lang.OutOfMemoryError: unable to cr

基本概念longdafeng edited this page on 29 Sep · 4 revisions Pages 690.7.1 changelist0.9.0 change list0.9.0 性能测试0.9.1_change_list0.9.2_change_list0.9.3_change_listAck 机制Ac

Next Gen Real-time Streaming with Storm-Kafka IntegrationOctober 30, 2012Tim Gasper Comment 2 At Infochimps, we are committed to embracing cutting edge technology, while en

注意：JStorm马上融合到Strom内核了，这意味着以后没有Strom了。配置executors和tasks（线程和实例）请始终记得标题：executors和tasks（线程和实例），executors代表线程概念，tasks代表spout或bolt实例。Storm默认会为每个组成（spout/bolt）创建一个任务（task），默认一个任务运行被一个线程（exe

JStorm中消息确保处理机制      从一个spout发射（emit）出去的元祖（tuple），到达下层bolt时候，可能有bolt拆成多个元祖。这样，元祖从spout出发，经过不同下层bolt的处理变成多个元祖，从而形成了一个以spout为根节点的树形结构。    JStorm会创建并且跟踪从spout发射出去的每一个元祖，当跟踪到在这个树形结构中，所有的叶子节点全被标记处理完毕

kafka的并行度与JStorm性能优化 > ConsumersMessaging traditionally has two models: queuing and publish-subscribe. In a queue, a pool of consumers may read from a server and each message goes to one of th

JStorm中的并行（ parallelismction ）介绍JStrom中，一个计算任务通过多台机器使得计算分解为多个独立并行运行在集群内执行的任务（tasks），从而得到水平扩展。JStorm中，一个任务（task）就是一个可以运行在集群内任何节点的一个spout或一个bolt实例。 要了解这个并行如何工作的，我们首先要了解在JSorm集群内执行一个拓扑所涉及到的4个重要概念：