![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm
李大洲
我有一壶酒,足以慰风尘。尽倾江海里,赠饮天下人。
展开
-
一、Storm简介与核心概念
1、Storm简介Storm是一个开源的、分布式实时计算系统。能够实现高频数据和大规模数据的实时处理。2、核心概念Topology拓扑,将整个流程串起来计算拓扑,由spout和bolt组成的;Stream流,数据流,水流消息流,抽象概念,没有边界的tuple构成,一个Stream由多个Tuple构成。Spouts产生数据/水的东西消息流的源头,Topol...原创 2019-03-11 14:33:56 · 237 阅读 · 0 评论 -
二、Storm编程
1、ISpout核心接口:概述:核心接口(interface),负责将数据发送到topology中去处理;Storm会跟踪Spout发出去的tuple的DAG;返回结果是ack/fail方法;每个tuple都有一个message id;ack/fail/nextTuple方法是在同一个线程中执行的,所以不用考虑线程安全方面;核心方法:open: 初始化操作clo...原创 2019-03-21 21:08:28 · 184 阅读 · 0 评论 -
四、Storm并行度
1、与并行度相关:worker进程数executor线程数 //并行度指的是executor并行度task线程数三者关系:一个机器上有一个supervisor,一个supervisor可以运行多个worker进程,默认是4个,一个worker进程可以运行一个或多个executor线程,一个executor线程可以运行一个或多个task线程。Spout和B...原创 2019-03-25 21:18:20 · 249 阅读 · 0 评论 -
三、Storm架构及部署
1、Storm架构:类似于Hadoop的架构,主从架构(master/slave)。Nimbus--集群的主节点:负责任务(task)的指派和分发、资源的分配;Supervisor--集群的从节点:负责任务的具体部分,启动和停止自己管理的worker;一个从节点可以通过配置启动多个worker进程,一个Topo也可以通过配置运行在多个worker进程上。他们上面的信息(元数据)...原创 2019-03-22 19:53:28 · 419 阅读 · 0 评论 -
五、Storm分组策略与可靠性
一、分组策略:1、Stream Grouping概述:A stream grouping defines how that stream should be partitioned among the bolt's taskshttp://storm.apache.org/releases/1.1.2/Concepts.html8种分组策略;①Shuffle grouping:...原创 2019-03-26 20:50:24 · 131 阅读 · 0 评论 -
六、Storm整合其他框架
1、Storm整合Redisstorm-redis提供了最基本的Bolt实现,RedisLookupBolt做数据查询;RedisStoreBolt输数据存储,RedisFilterBolt做查询过滤。导入依赖:<dependency> <groupId>org.apache.storm</groupId> <artifactId...原创 2019-03-27 21:20:44 · 161 阅读 · 0 评论