Ack 框架分析

Ack介绍  每个Spout Tuple保存一个ack-val的校验值,它的初始值是0,然后每发射一个Tuple或者ack一个Tuple,Tuple的ID都要跟这个校验值异或一下,并把得到的值更新为ack-val的新值。 如果每个发射出去的Tuple都被ack了,最后ack-val一定是0(因...

2016-03-19 15:17:53

阅读数 690

评论数 2

Storm集群部署

搭建一个Storm集群需要依次完成的安装步骤: 搭建Zookeeper集群;安装Storm依赖库 (Java 1.7x版本、Python 2.6.x版本);下载并解压Storm发布版本 (0.10.0版本);修改storm.yaml配置文件;启动Storm各个后台进程。 ...

2016-03-19 13:08:29

阅读数 212

评论数 0

Worker内部工作原理

Worker、Executor、Task 三者的关系 storm集群中的一台机器可能运行着一个或者多个worker进程,其从属于一个或者多个topology。一个worker进程运行着多个executor线程;每一个worker从属于一个topology;executor是单线程,每一个...

2016-03-19 13:04:58

阅读数 1262

评论数 0

Storm架构分析

一、Storm总体架构 客户端提交Topology代码到Nimbus。Nimbus针对该Topology建立本地的目录,Nimbus中的调度器根据Topology的配置计算Task,并把Task分配到不同的Worker上,调度的结果写入Zookeeper中。Zookeeper上创建a...

2016-03-19 13:01:28

阅读数 220

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭