Storm集群部署及单词技术

于 2019-07-02 17:19:11 发布
阅读量162 收藏
点赞数
分类专栏： Storm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45031497/article/details/94458913
版权

1、集群部署的基本流程

集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群
注意：
所有的集群上都需要配置hosts
vi /etc/hosts
192.168.239.128 storm01 zk01 hadoop01
192.168.239.129 storm02 zk02 hadoop02
192.168.239.130 storm03 zk03 hadoop03

2、集群部署的基础环境准备

安装前的准备工作（zk集群已经部署完毕）
关闭防火墙
chkconfig iptables off && setenforce 0
创建用户
groupadd realtime &&　useradd realtime　&& usermod -a -G realtime realtime
创建工作目录并赋权
mkdir /export
mkdir /export/servers
chmod 755 -R /export
切换到realtime用户下
su realtime

3、Storm集群部署

下载安装包

wget ## 1、集群部署的基本流程
集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群
注意：
所有的集群上都需要配置hosts
vi /etc/hosts
192.168.239.128 storm01 zk01 hadoop01
192.168.239.129 storm02 zk02 hadoop02
192.168.239.130 storm03 zk03 hadoop03

2、集群部署的基础环境准备

安装前的准备工作（zk集群已经部署完毕）
关闭防火墙
chkconfig iptables off && setenforce 0
创建用户
groupadd realtime &&　useradd realtime　&& usermod -a -G realtime realtime
创建工作目录并赋权
mkdir /export
mkdir /export/servers
chmod 755 -R /export
切换到realtime用户下
su realtime

3、Storm集群部署

下载安装包

wget http://124.202.164.6/files/1139000006794ECA/apache.fayea.com/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz

解压安装包

tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/
cd /export/servers/
ln -s apache-storm-0.9.5 storm

修改配置文件

mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak
vi /export/servers/storm/conf/storm.yaml
输入以下内容：
在这里插入图片描述

分发安装包

scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers
然后分别在各机器上创建软连接
cd /export/servers/
ln -s apache-storm-0.9.5 storm

启动集群

在nimbus.host所属的机器上启动 nimbus服务
cd /export/servers/storm/bin/
nohup ./storm nimbus &
在nimbus.host所属的机器上启动ui服务
cd /export/servers/storm/bin/
nohup ./storm ui &
在其它个点击上启动supervisor服务
cd /export/servers/storm/bin/
nohup ./storm supervisor &

查看集群

访问nimbus.host:/8080，即可看到storm的ui界面。
在这里插入图片描述

4、 Storm常用操作命令

有许多简单且有用的命令可以用来管理拓扑，它们可以提交、杀死、禁用、再平衡拓扑。

  • 提交任务命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】 bin/storm jar
    examples/storm-starter/storm-starter-topologies-0.9.6.jar
    storm.starter.WordCountTopology wordcount
  • 杀死任务命令格式：storm kill 【拓扑名称】 -w 10（执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间）
    storm kill topology-name -w 10
  • 停用任务命令格式：storm deactivte 【拓扑名称】 storm deactivte topology-name
    我们能够挂起或停用运行中的拓扑。当停用拓扑时，所有已分发的元组都会得到处理，但是spouts的nextTuple方法不会被调用。销毁一个拓扑，可以使用kill命令。它会以一种安全的方式销毁一个拓扑，首先停用拓扑，在等待拓扑消息的时间段内允许拓扑完成当前的数据流。
  • 启用任务命令格式：storm activate【拓扑名称】
    storm activate topology-name
  • 重新部署任务命令格式：storm rebalance 【拓扑名称】
    storm rebalance topology-name
    再平衡使你重分配集群任务。这是个很强大的命令。比如，你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑，然后在相应超时时间之后重分配工人，并重启拓扑。

5、Storm集群的进程及日志熟悉

部署成功之后，启动storm集群。

依次启动集群的各种角色

查看nimbus的日志信息

在nimbus的服务器上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/nimbus.log

查看ui运行日志信息

在ui的服务器上，一般和nimbus一个服务器
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/ui.log

查看supervisor运行日志信息

在supervisor服务上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/supervisor.log

查看supervisor上worker运行日志信息

在supervisor服务上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/worker-6702.log
在这里插入图片描述
(该worker正在运行wordcount程序)

6、Storm源码下载及目录熟悉

在Storm官方网站上寻找源码地址

http://storm.apache.org/downloads.html
在这里插入图片描述

Storm源码目录分析（重要）

在这里插入图片描述
扩展包中的三个项目，使storm能与hbase、hdfs、kafka交互
在这里插入图片描述

7、Storm单词技术案例（重点掌握）

功能说明

设计一个topology，来实现对文档里面的单词出现的频率进行统计。
整个topology分为三个部分：

  • RandomSentenceSpout：数据源，在已知的英文句子中，随机发送一条句子出去。
  • SplitSentenceBolt：负责将单行文本记录（句子）切分成单词
  • WordCountBolt：负责对单词的频率进行累加

项目主要流程

在这里插入图片描述

RandomSentenceSpout的实现及生命周期在这里插入图片描述

SplitSentenceBolt的实现及生命周期

在这里插入图片描述

WordCountBolt的实现及生命周期

在这里插入图片描述

Stream Grouping详解

Storm里面有7种类型的stream grouping

  • Shuffle Grouping: 随机分组， 随机派发stream里面的tuple，保证每个bolt接收到的tuple数目大致相同。
  • Fields Grouping：按字段分组，比如按userid来分组，具有同样userid的tuple会被分到相同的Bolts里的一个task，而不同的userid则会被分配到不同的bolts里的task。
  • All Grouping：广播发送，对于每一个tuple，所有的bolts都会收到。
  • Global Grouping：全局分组，这个tuple被分配到storm中的一个bolt的其中一个task。再具体一点就是分配给id值最低的那个task。
  • Non Grouping：不分组，这stream grouping个分组的意思是说stream不关心到底谁会收到它的tuple。目前这种分组和Shuffle grouping是一样的效果，有一点不同的是storm会把这个bolt放到这个bolt的订阅者同一个线程里面去执行。
  • Direct Grouping： 直接分组，
    这是一种比较特别的分组方法，用这种分组意味着消息的发送者指定由消息接收者的哪个task处理这个消息。只有被声明为Direct
    Stream的消息流可以声明这种分组方法。而且这种消息tuple必须使用emitDirect方法来发射。消息处理者可以通过TopologyContext来获取处理它的消息的task的id
    （OutputCollector.emit方法也会返回task的id）。
  • Local or shuffle grouping：如果目标bolt有一个或者多个task在同一个工作进程中，tuple将会被随机发生给这些tasks。否则，和普通的ShuffleGrouping行为一致。
何星平
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
02_流式计算基础_第1天（Storm集群部署、单词计数、Stream Grouping）.docx
03-22
02_流式计算基础_第1天 （Storm集群部署、单词计数、Stream Grouping）.docx
storm统计单词数的demo
04-25
5. **本地运行与集群部署**：Storm提供了本地模式，可以在单机上测试Topology，验证其正确性。一旦调试完毕，可以将其部署到Storm集群上，实现分布式运行。 6. **容错机制**：Storm通过检查点和状态持久化来确保...
Storm单词技术案例（重点）
ForgetThatNight的博客
06-30 359
1、功能说明设计一个topology，来实现对文档里面的单词出现的频率进行统计。整个topology分为三个部分：    l RandomSentenceSpout：数据源，在已知的英文句子中，随机发送一条句子出去。    l SplitSentenceBolt：负责将单行文本记录（句子）切分成单词    l WordCountBolt：负责对单词的频率进行累加2、项目主要流程3、RandomSe...
Storm集群部署与单词计数程序
成都往右的博客
11-07 647
要搭建storm集群首先需要由zookeeper，关于zookeeper集群的搭建参考zookeeper集群搭建，这里使用三台机器，一台做做nimbus（mini1机器），两台做supervisor（mini2和mini3机器）。
模拟Storm词频统计程序
29DCH的博客
02-20 418
package storm; import java.util.HashMap; import java.util.Map; import java.util.Random; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.BlockingQueue; import java.util.con...
hadoop集群-单词计数wordcount
SoundSlow的博客
04-27 676
开发环境 系统：CentOS release 6.5 jdk：jdk1.7.0_45 hadoop：2.5.2 hadoop集群搭建 参照：https://blog.csdn.net/soundslow/article/details/80101146 eclipse插件配置 由于需要使用跨平台文件传递，多以需要一个hadoop插件hadoop-eclipse-plugin-2.5.2...
Storm笔记整理（三）：Storm集群安装部署与Topology作业提交
weixin_34409822的博客
04-13 275
[TOC] Storm分布式集群安装部署 概述 Storm集群表面类似Hadoop集群。但在Hadoop上你运行的是”MapReduce jobs”，在Storm上你运行的是”topologies”。”Jobs”和”topologies”是大不同的，一个关键不同是一个MapReduce的Job最终会结束，而一个topology永远处理消息（或直到你kill它）。 Storm集群有两种节点：控制...
基于Storm的分布式流计算集群详细配置
08-29
### 二、ZooKeeper集群部署 ZooKeeper是Storm集群的核心组件，用于协调各个节点的状态和元数据管理。以下步骤介绍了ZooKeeper的安装和配置： 1. **JDK安装**：所有服务器都需要安装Java开发环境（JDK），这里是JDK...
storm实时单词计数
03-27
这个测试可能包括设置本地模式（Local Mode）进行快速开发测试，或者配置集群模式（Cluster Mode）进行生产环境的部署。 总的来说，"storm实时单词计数"这个主题涵盖了Storm的核心概念：数据流处理、实时计算、组件...
Storm API实现词频统计
05-30
生成的JAR文件（如`storm_demo.jar`）可以用Storm的命令行工具提交到本地或远程的Storm集群上运行，例如`storm jar storm_demo.jar WordCountTopology wordcount`。 5. **监控与调试** Storm提供了Web UI，可以...
Storm线程进程分配方法
rainforc
03-12 191
运行中的Topology主要由以下三个组件组成的： Worker processes（进程） Executors (threads)（线程） Tasks 其中进程数除以机器数可以得到每台机器的进程数，我们以一台机器为例： Spout或者Bolt的Task个数一旦指定之后就不能改变了，而Executor的数量可以根据情况来进行动态的调整。默认情况下# executor = #t...
storm-0.9.3 wordcount例子运行步骤（单机版）
每天积累一点，一年后你会发现，自己变化很大
11-29 2991
网上关于Storm wordcount的例子很多，不过都是基于storm-0.9.0.1，在运行例子过程中torm 0.9.0.1.jar在maven中央仓库没有找到只有0.9.3，在运行过程中出现了好多问题。所以记下笔记。方便以后查看。 1， 下载Storm，地址为http://www.apache.org/dyn/closer.cgi/storm/apache-storm-0.9.3/ap
使用Storm进行词频统计
留歌__36的博客
09-04 2379
词频统计 1.需求:读取指定目录的数据,并且实现单词计数功能 2.实现方案: Spout用于读取指定文件夹(目录),读取文件,将文件的每一行发射到Bolt SplitBolt用于接收Spout发射过来的数据,并拆分,发射到CountBolt CountBolt接收SplitBolt发送的每一个单词,进行单词计数操作 3.拓扑设计: DataSource...
基于Android音乐播放器设计与实现2.docx
最新发布
08-10
基于Android音乐播放器设计与实现2.docx
java基于ssm+jsp省出口基地公共信息服务平台系统源码 带毕业论文
08-10
【资源说明】 1、开发环境：ssm框架；内含Mysql数据库；JSP技术 2、该资源包括项目的全部源码，下载可以直接使用！ 3、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。 4、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。
java spider.rar
08-10
java spider.rar
ASP校园学生信息在线管理系统设计(源代码+论文).rar
08-10
资源包主要包含以下内容： ASP项目源码：每个资源包中都包含完整的ASP项目源码，这些源码采用了经典的ASP技术开发，结构清晰、注释详细，帮助用户轻松理解整个项目的逻辑和实现方式。通过这些源码，用户可以学习到ASP的基本语法、服务器端脚本编写方法、数据库操作、用户权限管理等关键技术。 数据库设计文件：为了方便用户更好地理解系统的后台逻辑，每个项目中都附带了完整的数据库设计文件。这些文件通常包括数据库结构图、数据表设计文档，以及示例数据SQL脚本。用户可以通过这些文件快速搭建项目所需的数据库环境，并了解各个数据表之间的关系和作用。 详细的开发文档：每个资源包都附有详细的开发文档，文档内容包括项目背景介绍、功能模块说明、系统流程图、用户界面设计以及关键代码解析等。这些文档为用户提供了深入的学习材料，使得即便是从零开始的开发者也能逐步掌握项目开发的全过程。 项目演示与使用指南：为帮助用户更好地理解和使用这些ASP项目，每个资源包中都包含项目的演示文件和使用指南。演示文件通常以视频或图文形式展示项目的主要功能和操作流程，使用指南则详细说明了如何配置开发环境、部署项目以及常见问题的解决方法。 毕业设计参考：对于正在准备毕业设计的学生来说，这些资源包是绝佳的参考材料。每个项目不仅功能完善、结构清晰，还符合常见的毕业设计要求和标准。通过这些项目，学生可以学习到如何从零开始构建一个完整的Web系统，并积累丰富的项目经验。
ASP基于WEB个人博客网页设计(源代码+论文+答辩).rar
08-10
资源包主要包含以下内容： ASP项目源码：每个资源包中都包含完整的ASP项目源码，这些源码采用了经典的ASP技术开发，结构清晰、注释详细，帮助用户轻松理解整个项目的逻辑和实现方式。通过这些源码，用户可以学习到ASP的基本语法、服务器端脚本编写方法、数据库操作、用户权限管理等关键技术。 数据库设计文件：为了方便用户更好地理解系统的后台逻辑，每个项目中都附带了完整的数据库设计文件。这些文件通常包括数据库结构图、数据表设计文档，以及示例数据SQL脚本。用户可以通过这些文件快速搭建项目所需的数据库环境，并了解各个数据表之间的关系和作用。 详细的开发文档：每个资源包都附有详细的开发文档，文档内容包括项目背景介绍、功能模块说明、系统流程图、用户界面设计以及关键代码解析等。这些文档为用户提供了深入的学习材料，使得即便是从零开始的开发者也能逐步掌握项目开发的全过程。 项目演示与使用指南：为帮助用户更好地理解和使用这些ASP项目，每个资源包中都包含项目的演示文件和使用指南。演示文件通常以视频或图文形式展示项目的主要功能和操作流程，使用指南则详细说明了如何配置开发环境、部署项目以及常见问题的解决方法。 毕业设计参考：对于正在准备毕业设计的学生来说，这些资源包是绝佳的参考材料。每个项目不仅功能完善、结构清晰，还符合常见的毕业设计要求和标准。通过这些项目，学生可以学习到如何从零开始构建一个完整的Web系统，并积累丰富的项目经验。
Storm集群部署与启动命令指南
本文主要讨论的是Apache Storm集群的部署过程，这是一种分布式实时计算系统，常用于处理流式数据。文章从推荐的文章入手，建议读者先下载并配置必要的软件环境，包括Java Development Kit (JDK) 8、Python 3.6、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值