实时分析系统Storm详解

最新推荐文章于 2024-09-16 10:51:04 发布

wespten

最新推荐文章于 2024-09-16 10:51:04 发布

阅读量37

点赞数

分类专栏： Hadoop Hive Spark 大数据安全文章标签： storm wpf 大数据

本文链接：https://blog.csdn.net/qq_35029061/article/details/135639677

版权

Hadoop Hive Spark 大数据安全专栏收录该内容

130 篇文章 39 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

Storm 是一个分布式、可靠且容错的数据流处理系统，简化了实时处理的复杂性。它使用 spout 和 bolt 组件处理数据流，确保至少处理一次消息并具备高度可扩展性。在 Storm 概述中，介绍了 Storm 的核心组件和特性，包括其容错机制和使用 ZeroMQ 的通信基础。在 Storm Hello World 部分，展示了如何在本地和远程模式下创建并运行简单的单词计数拓扑。拓扑结构中，spout 读取数据，经过 bolt 的处理，例如标准化和计数，实现数据流的转换。此外，文章还探讨了 Storm 的数据流组，包括随机、域、全部、自定义、直接、全局和不分组等不同的分组策略，以及如何在 Storm 集群中管理和部署拓扑。

摘要由CSDN通过智能技术生成

一、Storm 概述

1、Storm 简介

Storm 是一个分布式的，可靠的，容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm 集群的输入流由一个被称作 spout 的组件管理，spout 把数据传递给 bolt， bolt 要么把数据保存到某种存储器，要么把数据传递给其它的 bolt。你可以想象一下，一个 Storm 集群就是在一连串的 bolt 之间转换 spout 传过来的数据。

这里用一个简单的例子来说明这个概念。昨晚我在新闻节目里看到主持人在谈论政治人物和他们对于各种政治话题的立场。他们一直重复着不同的名字，而我开始考虑这些名字是否被提到了相同的次数，以及不同次数之间的偏差。

想像播音员读的字幕作为你的数据输入流。你可以用一个 spout 读取一个文件（或者 socket，通过 HTTP，或者别的方法）。文本行被 spout 传给一个 bolt，再被 bolt 按单词切割。单词流又被传给另一个 bolt，在这里每个单词与一张政治人名列表比较。每遇到一个匹配的名字，第二个 bolt 为这个名字在数据库的计数加1。你可以随时查询数据库查看结果，而且这些计数是随着数据到达实时更新的。所有组件（spouts和bolts）及它们之间的关系请参考下面的拓扑图。