storm
文章平均质量分 69
wangjinyuan161
这个作者很懒,什么都没留下…
展开
-
storm模块结构和api对应关系
storm模块结构和api对应关系 (2012-02-28 23:00:16) 转载▼ 标签: 杂谈 TopologyContext context, 记录了component和task的对应关系 一个component(如图)包含了若干task,每一个task有一个全局唯一的id, 这个id用于定位zmq的目标和来源 cont...原创 2014-08-15 18:37:24 · 199 阅读 · 0 评论 -
storm配置详解
配置项详解: 以下是从storm的config类中搜集的所有storm支持的配置项(Based storm 0.6.0): 配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目...原创 2014-09-16 14:50:18 · 86 阅读 · 0 评论 -
storm ui 参数详解
Storm UI 本文主要解释下storm ui上各项属性的含义。 1. mainpage 首页主要分为3块: a. Cluster Summary Nimbus uptime: nimbus的启动时间 Supervisors: storm集群中supervisor的数目 used slots: 使用了的slots数 free sl...原创 2014-09-25 20:08:57 · 170 阅读 · 0 评论 -
storm消息机制保证ack 原理
storm会有一个ackbolt 不断计算top 每个spout,bolt task的msgid ,来确认调用act 方法还是fail方法 ; 如下示列 1.如下图 1.spout 向ackbolt 报上去的 rootId=T1^T2 2.bolt1 向ackbolt 报上去的 rootId=T1^T3^T4^T5 3.bolt2 向ackbolt 报上去的roo...原创 2015-08-21 18:00:50 · 172 阅读 · 0 评论 -
storm spout bolt api基本介绍
注:转帖请注明,原帖地址: http://blog.csdn.net/xeseo/article/details/17750379 Component Storm中,Spout和Bolt都是其Component。所以,Storm定义了一个名叫IComponent的总接口 全家普如下: 绿色部分是我们最常用、比较简单的部分。红色部分是与事务相关...原创 2014-11-03 20:53:01 · 165 阅读 · 0 评论 -
storm 可靠性机制保证
本文属原创系列,转载请注明。 转自:http://blog.csdn.net/xeseo/article/details/17754825 对于Storm,它有一个很重要的特性:“Guarantee no data loss” ——可靠性 很显然,要做到这个特性,必须要track每个data的去向和结果。Storm是如何做到的呢——acker机制。 先概括下acker所参与的工作流...原创 2014-11-03 20:54:42 · 149 阅读 · 0 评论 -
storm netty配置
Twitter Storm更新0.9.0.1之后,安装部署变得容易得多了,比起Storm0.8.x的版本,Storm少了zeromq和jzmq的安装,也省去了很多编译这些插件时出现的bug。 Storm-0.9.0.1 版本的亮点: 1.1、Netty Transport Storm 0.9.0.1版本的第一亮点是引入了netty transport。Storm网络传输机制实现可插...原创 2014-11-07 15:57:22 · 461 阅读 · 0 评论