![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
storm
Java蜗牛
这个作者很懒,什么都没留下…
展开
-
ubutun下storm本地安装----供学习使用
(1)ubutun 是12.0.4版本 (2)zookeeper安装: (原创 2014-06-25 00:50:59 · 764 阅读 · 0 评论 -
storm学习三 drpc学习
1, 通过配置drpc服务器,将storm的topology发布为drpc服务。客户端程序可以调用drpc服务将数据发送到storm集群中,并接收处理结果的反馈。这种方式需要drpc服务器进行转发,其中drpc服务器底层通过thrift实现。适合的业务场景主要是实时计算。并且扩展性良好,可以增加每个节点的工作worker数量来动态扩展。原创 2014-07-23 20:46:29 · 817 阅读 · 0 评论 -
storm学习一 storm基本概念整理
1. 拓扑(Topologies)2. 流(Streams)3. 喷嘴(Spouts)4. 螺栓(Bolts)5. 流分组(Stream groupings)6. 可靠性(Reliability)7. 任务(Tasks)8. 工作者(Workers)9. 配置(Configuration) Topologies原创 2014-07-23 17:14:10 · 687 阅读 · 0 评论 -
storm学习二 storm系统的启动详解
这些天对storm源码进行了部分解读,做一个阶段性的总结。nimbus启动过程: sd.join();1 验证是否是本地模式,如果是,则抛出异常,退出,否则启动nimbus2 addHook, 增加nimbus退出时的清理工作{1, 停止线程,2 停止thrift服务,3 断开zk}3 构造出一个nimbusData的数据结构{线程池,配置文件,上传下载文件的timeCac原创 2014-07-23 20:52:13 · 796 阅读 · 0 评论 -
storm学习四 开发简单的Topology程序
storm的程序开发可以理解为三步骤(1)Spout(2)原创 2014-07-25 07:25:43 · 1109 阅读 · 0 评论 -
一张图让你了解Storm的DRPC实现原理
参照上图构建DRPC拓补图的拓补构造器:package backtype.storm.drpc;import backtype.storm.Constants;import backtype.storm.ILocalDRPC;import backtype.storm.coordination.BatchBoltExecutor;import backtype.storm.coo原创 2014-10-25 17:44:38 · 3526 阅读 · 0 评论 -
storm的架构图
整体架构 客户端提交拓扑到nimbus。Nimbus针对该拓扑建立本地的目录根据topology的配置计算task,分配task,在zookeeper上建立assignments节点存储task和supervisor机器节点中woker的对应关系;在zookeeper上创建taskbeats节点来监控task的心跳;启动topology。S原创 2014-10-25 07:49:50 · 955 阅读 · 0 评论