![](https://img-blog.csdnimg.cn/20201223132700560.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Storm
文章平均质量分 79
本栏为Storm学习
<一蓑烟雨任平生>
没成功之前才华等于狗屎,只有成功了才证明你的一切!
展开
-
Storm与MySQL的集成
基于Maven构建环境<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-hbase</artifactId> <version>1.2.3</version> <scope>compile</scope></dependency><dependency>原创 2021-01-04 21:29:44 · 375 阅读 · 0 评论 -
Storm与Kafka的集成
目录一、深入Kafka服务架构原理二、kafka集群安装与部署三、基于maven构建Storm-kafka工程四、Storm-kafka编程模型版本选择:storm-1.2.3kafka_2.11-0.8.2.2一、深入Kafka服务架构原理行业里最流行的Message Queue产品; MQ的特点:生产者,消费者Kafka是LinkedIn开源出来的一个高吞吐的分布式消息系统。 使用scala开发,支持多语言客户端(c++、java、python等)其具有以下特点:支持高Throu原创 2021-01-04 21:19:04 · 651 阅读 · 0 评论 -
Storm中Trident State详解
目录一、Trident State概述二、Transactional Spouts详解三、Transactional Spouts详解四、Opaque Transactional Spout详解五、Trident中Spout与State的关系六、事务性Spout的实现机制七、DRPC详解一、Trident State概述我们知道Trident的计算都是以batch为单位的,但是batch中的tuple在处理过程中有可能会失败,所 以基于一致性语义的规则,对于失败之后bach又有可能会被重播的情况,我们如原创 2021-01-02 22:38:49 · 404 阅读 · 0 评论 -
Storm中Trident Operations详解
目录一、Trident 操作类型及使用场景二、Tuple 过滤Filter函数操作三、Function 函数操作四、Tuple 投影操作五、Partition重分区操作六、Aggregate聚合操作(1)ReducerAggregator聚合器详解(2)CombinerAggregator聚合器详解(3)Aggregator聚合器详解七、persistentAggregate持久化聚合操作八、Trident Topology并行度设置详解九、GroupBy 分组操作十、调用链操作十一、合并与关联操作一、T原创 2021-01-02 15:37:53 · 346 阅读 · 0 评论 -
Storm中Trident框架详解
目录一、Storm Trident概述及特性二、TridentTopology与StormToplogy三、TridentTopology的可靠性机制详解四、Storm Trident API讲解一、Storm Trident概述及特性Trident是在storm基础上,一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时,也提供了低延时分布式查询和有状态流式处理的能力。好比 Mapreduce框架的Pig,Trident是Storm提供的基于基本API开发的高级框架。Tr原创 2020-12-31 14:45:58 · 1320 阅读 · 1 评论 -
Storm容错机制Acker
目录(1)基于tuple树的Acker详解(2)如何开启或者关闭Acker(1)如何开启Acker(2)如何关闭Acker(3)Acker机制的编程模型(4)Storm可靠性实现的设计思想(1)需要实现可靠性的场景(2)可靠性设计 — Acker失败重发编码实现思路(5)Storm可靠性及Acker失败重发编码实现(1)基于tuple树的Acker详解Storm中有个特殊的Executor叫acker,他们负责跟踪spout发出的每一个Tuple的Tuple树。当acker发现一个Tuple树 已经处理原创 2020-12-30 13:13:32 · 476 阅读 · 0 评论 -
Storm时间窗口
目录(1)时间窗口概念(1)滚动窗口 Tumbling Window(2)滑动窗口 Tumbling Window(2)滚动窗口程序开发及测试(2)滑动窗口程序开发及测试(1)时间窗口概念什么是时间窗口?按一定的时间或者tuple数量来定义打包处理的大小称之为时间窗口。使用场景:计算每隔10分钟的销售额。计算上1分钟成交金额计算近1个小时最火爆的微博等。Storm的时间窗口机制Storm可同时处理窗口内的所有tuple。窗口可以从时间或数量上来划分,就是说可以根据时间段或 Tuple数原创 2020-12-29 14:19:46 · 518 阅读 · 1 评论 -
Storm拓扑并行度与及流分组策略
目录一、Storm拓扑的并行度(parallelism)介绍(1)运行拓扑的结构(2)配置拓扑的并行度(1)工作进程Worker数量(2)执行器Executor数量(3)任务Task数量(3)改变运行中拓扑的并行度二、Streaming Groupings流分组策略三、基于流分组策略应用程序的开发一、Storm拓扑的并行度(parallelism)介绍(1)运行拓扑的结构工作进程: Worker Process,也称为Worker执行器: Executor,即线程Thread任务: Task工作原创 2020-12-29 11:40:59 · 493 阅读 · 0 评论 -
Storm架构原理详解!
目录一、Storm概述二、Storm特性三、Storm架构原理四、Storm服务组件(1)Topology(拓扑)(2) 数据模型Tuple(3)Spout(4)Bolt(5)并行元素(Worker、Executor、Task)的关系六、Storm工作原理七、Storm与Hadoop的对比一、Storm概述Apache Storm是一个免费的开源分布式实时计算系统。 Storm可以轻松地处理无限数据流, 并且实时处理Hadoop批处理任务。 可以和任何编程语言一起使用,并且使用起来非常有趣!Storm原创 2020-12-27 08:36:44 · 2426 阅读 · 3 评论 -
Centos7下Storm安装与配置
目录第一步:安装软件(1)上传文件(2)解压文件第二步:配置环境变量第三步:修改配置文件第四步:Storm集群启动与关闭脚本编写(1)编写start-all.sh启动脚本(2)编写stop-all.sh启动脚本第五步:测试电脑系统:macOS 11.0.1虚拟机软件:Parallels Desktop16Zookeeper版本:zookeeper-3.4.5-cdh5.9.3JDK版本:jdk1.8.0_162Storm版本:apache-storm-1.2.3Storm的下载源地址:h原创 2020-12-26 14:05:20 · 571 阅读 · 1 评论