bbaiggey_bigdata的博客

Storm中真正干活的是各个worker，而worker由supervisor负责启动。在topology启动过程中我们会看到如下的启动日志：这就是启动一个worker进程，也就是一个JVM进程。默认情况下，Storm启动worker进程时，JVM的最大内存是768M。但我在使用过程中，由于会在Bolt中加载大量数据，768M内存无法满足需求，会导致内存溢出程序崩溃。

http://storm.apache.org/releases/1.0.3/Trident-API-Overview.htmlThe core data model in Trident is the "Stream", processed as a series of batches. A stream is partitioned among the nodes in the c

基于事务static interface ITridentSpout.BatchCoordinator           static interface ITridentSpout.Emitter接口类的实现和之前事务ITransactionalSpout 非常类似。Topo例子topology.newDRPCStream("top", drpc).ea

Spout和BoltSpoutITransactionalSpout，同BaseTransactionalSpout，普通事务SpoutIPartitionedTransactionalSpout，同BasePartitionedTransactionalSpout，分区事务SpoutIOpaquePartitionedTransactionalSpout：

Worker间的通信经常需要通过网络跨节点进行，Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。Worker进程内部通信：不同worker的thread通信使用LMAX Disruptor来完成。         不同topologey之间的通信，Storm不负责，需要自己想办法实现，例如使用kafka等；worker进程间消息传递机制，消息的

配置选项名称配置选项作用topology.max.task.parallelism每个Topology运行时最大的executor数目topology.workers每个Topology运行时的worker的默认数目，若在代码中设置，则此选项值被覆盖storm.zookeeper.servers

提交Topologies命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】样例：storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop#提交storm-starter.jar到远程集群，并启动wordcountTop拓扑。停止Topologies命令格

Trident是在storm基础上，一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批量处理工具很了解的话，那么应该毕竟容易理解Trident，因为他们之间很多的概念和思想都是类似的。Tident提供了 joins, aggregations, grouping, fun

Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性， 它是通过组合storm的原语spout，bolt， topology而成的一种模式(pattern)。本来应该把DRPC单独打

1.DRPC的作用是什么？2.DRPC工作流是怎样的？3.DRPC分为几部分？4.服务端有几部分组成？1. DRPC介绍1.Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC，而是通过在Topoloye中的spout中建立一个TCP/

storm集群搭建storm集群也是由主节点和从节点组成的。storm版本的变更：storm0.9.xstorm0.10.xstorm1.x前面这些版本里面storm的核心源码是由java+clojule组成的。storm2.x后期这个版本就是全部用java重写了。（阿里在很早的时候就对storm进程了重写，提供了jstorm，后期jstorm也加入到apach