Storm从入门到精通
文章平均质量分 93
专栏将为你展示Storm的全面知识体系,从基本概念开始,深入到Storm的架构、API、数据模型、流计算的设计和实现等各个层面。我们将通过实例来说明Storm如何处理大数据流,如何进行实时数据处理和分析,并探讨Storm在分布式环境下的运行原理和性能优化。
冰点.
《Redis从入门到精通2023版》作者-
日拱一卒无有尽,功不唐捐终入海。路漫漫其修远兮。吾将上下而求索
展开
-
【Storm实战】1.2 图解Storm的架构及其组件
上一章节,我们为了好理解,将storm中的抽象概念 通过画了一个水力发电系统的工作模式,相信大家一定可以直观地理解Storm中的流 (Stream)拓扑 (Topology)SpoutBolt任务(Task)和工作者 (Worker)是如何协同工作处理数据的。我们将流 (Stream)比作河流,拓扑 (Topology)想象成是一个水力发电系统,Spout可以视为水力发电系统中的水轮机,它不断从河流(外部数据源)中截取水流。Bolt就像是沿着水轮机的齿轮和发动机,它们接收从水轮机传来的动力(原创 2024-01-04 16:34:04 · 1781 阅读 · 0 评论 -
【Storm实战】1.1 图解Storm的抽象概念
Storm 是一个分布式实时计算系统,用于处理大规模流式数据。它基于流处理模型,可以在一个分布式集群上运行,实时地处理和分析数据。Storm 提供了高可靠性、高吞吐量的数据流处理能力,可用于构建实时大数据分析应用和实时流处理任务。在学习和使用 Storm 之前,我们需要对一些抽象概念有基本的了解。这些抽象概念包括流、拓扑、Spout、Bolt、任务和工作者。流是数据处理的基本单位,可以理解为一个无限的有序的元组序列。原创 2024-01-04 16:31:23 · 1331 阅读 · 0 评论 -
Storm学习之使用官方Docker镜像快速搭建Storm运行环境
Apache Storm 官方也出了Docker 镜像本文我们就基于官方镜像搭建一个 Apache Storm 2.4 版本的运行环境,供大家后续学习。有问题可以参考issue 解决,我的安装过程一路都很顺畅。所以基本上没有看下面是我的详细操作和截图。可以说网上的乱七八糟的教程不如官方文档来的实在。如果想用虚拟机搭建,请参考我的上一篇文章《Centos7搭建Apache Storm 集群运行环境》原创 2023-08-03 18:31:05 · 1253 阅读 · 7 评论 -
Centos7搭建Apache Storm 集群运行环境
storm.yaml一般我们只需要配置上面的就ok了,如果你想自定义一些参数可以参考下面的,我加了注释方便于你理解。原创 2023-08-02 22:28:45 · 1312 阅读 · 5 评论 -
Apache Storm入门介绍之三分钟看懂Apache Storm
Apache Storm 入门介绍。Storm 是一个分布式实时大数据处理系统。Storm 旨在以容错和水平可扩展的方法处理大量数据。它是一个流数据框架,具有最高摄取率的能力。虽然 Storm 是无状态的,但它通过 Apache ZooKeeper 管理分布式环境和集群状态。它很简单,您可以对实时数据并行执行各种操作。原创 2023-07-31 17:43:52 · 3301 阅读 · 22 评论