![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm
李大洲
我有一壶酒,足以慰风尘。尽倾江海里,赠饮天下人。
展开
-
一、Storm简介与核心概念
1、Storm简介 Storm是一个开源的、分布式实时计算系统。能够实现高频数据和大规模数据的实时处理。 2、核心概念 Topology 拓扑,将整个流程串起来 计算拓扑,由spout和bolt组成的; Stream 流,数据流,水流 消息流,抽象概念,没有边界的tuple构成,一个Stream由多个Tuple构成。 Spouts 产生数据/水的东西 消息流的源头,Topol...原创 2019-03-11 14:33:56 · 236 阅读 · 0 评论 -
二、Storm编程
1、ISpout核心接口: 概述: 核心接口(interface),负责将数据发送到topology中去处理; Storm会跟踪Spout发出去的tuple的DAG; 返回结果是ack/fail方法; 每个tuple都有一个message id; ack/fail/nextTuple方法是在同一个线程中执行的,所以不用考虑线程安全方面; 核心方法: open: 初始化操作 clo...原创 2019-03-21 21:08:28 · 183 阅读 · 0 评论 -
四、Storm并行度
1、与并行度相关: worker进程数 executor线程数 //并行度指的是executor并行度 task线程数 三者关系:一个机器上有一个supervisor,一个supervisor可以运行多个worker进程,默认是4个,一个worker进程可以运行一个或多个executor线程,一个executor线程可以运行一个或多个task线程。Spout和B...原创 2019-03-25 21:18:20 · 248 阅读 · 0 评论 -
三、Storm架构及部署
1、Storm架构: 类似于Hadoop的架构,主从架构(master/slave)。 Nimbus--集群的主节点:负责任务(task)的指派和分发、资源的分配; Supervisor--集群的从节点:负责任务的具体部分,启动和停止自己管理的worker;一个从节点可以通过配置启动多个worker进程,一个Topo也可以通过配置运行在多个worker进程上。 他们上面的信息(元数据)...原创 2019-03-22 19:53:28 · 417 阅读 · 0 评论 -
五、Storm分组策略与可靠性
一、分组策略: 1、Stream Grouping概述: A stream grouping defines how that stream should be partitioned among the bolt's tasks http://storm.apache.org/releases/1.1.2/Concepts.html 8种分组策略; ①Shuffle grouping:...原创 2019-03-26 20:50:24 · 131 阅读 · 0 评论 -
六、Storm整合其他框架
1、Storm整合Redis storm-redis提供了最基本的Bolt实现,RedisLookupBolt做数据查询;RedisStoreBolt输数据存储,RedisFilterBolt做查询过滤。 导入依赖: <dependency> <groupId>org.apache.storm</groupId> <artifactId...原创 2019-03-27 21:20:44 · 158 阅读 · 0 评论