lan墨的博客

storm基础概念storm基础概念1. 拓扑（Topologies）2. 流（Streams）3. 数据源（Spouts）4. 数据流处理组件（Bolts）5.数据流分组（Stream groupings）6.可靠性7.任务（Tasks）8.工作进程（Workers）storm基础概念以官网的结构图为例子storm用来干什么这里就不说了，主要说下storm的一些基础知识。官宣连接：htt...

storm的并行度是什么组成了一个运行中的topology：工作进程（worker processes），执行器（executors）和任务（tasks）在一个 Storm 集群中，Storm 主要通过以下三个部件来运行拓扑：工作进程（worker processes）执行器（executors）线程任务（tasks）这是官网放出的一个他们之间相互关系的图：在 Worker 中运行...

不一样的wordcountworkcount例子如同初学Java时的HelloWord一样，下面通过一个workcount了解storm的所有基础用法。整个工程的结构图如下：由5部分组成，其中topology,spout,bolt是wordcount的主要计算代码，而source是一个自定义的sentence发射器，util里面包含了日志解析的工具类。1. 自定义可计数的sentence...

可靠的wordcount1.实现storm的可靠性api要实现可靠的api大致需要实现以下步骤：实现spout的ack和fail方法在spout发射的时候将发射的tuple与一个唯一的messageId进行绑定在bolt发射新tuple的时候将当期tuple与发射的新tuple进行锚定bolt处理失败调用collector.fail,成功调用collector.ack2.实现一个...