搭建Storm高可用集群

于 2021-08-11 17:34:44 发布
阅读量219 收藏 2
点赞数
分类专栏： Hadoop Storm 文章标签： hadoop storm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mengshicheng1992/article/details/119612104
版权

搭建Storm高可用集群

此文以Storm 2.2.0版本为例！

如未指定，下述命令在所有节点执行！

系统资源及组件规划

节点名称系统名称CPU/内存网卡磁盘IP地址OS节点角色
Nimbus1nimbus12C/4Gens33128G192.168.0.11CentOS7Nimbus
Nimbus2nimbus22C/4Gens33128G192.168.0.12CentOS7Nimbus
Supervisor1supervisor12C/4Gens33128G192.168.0.21CentOS7Supervisor、LogViewer、ZooKeeper
Supervisor2supervisor22C/4Gens33128G192.168.0.22CentOS7Supervisor、LogViewer、ZooKeeper
Supervisor3supervisor32C/4Gens33128G192.168.0.23CentOS7Supervisor、LogViewer、ZooKeeper

二、系统软件安装与设置

1、安装基本软件

yum -y install vim lrzsz bash-completion

在这里插入图片描述

2、设置名称解析

echo 192.168.0.11 nimbus1 >> /etc/hosts
echo 192.168.0.12 nimbus2 >> /etc/hosts
echo 192.168.0.21 supervisor1 >> /etc/hosts
echo 192.168.0.22 supervisor2 >> /etc/hosts
echo 192.168.0.23 supervisor3 >> /etc/hosts

在这里插入图片描述

3、设置NTP

yum -y install chrony

在这里插入图片描述

systemctl start chronyd
systemctl enable chronyd
systemctl status chronyd

在这里插入图片描述

chronyc sources

在这里插入图片描述

4、设置SELinux、防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

在这里插入图片描述

三、搭建Storm高可用集群

1、安装JDK

下载JDK文件：

参考地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

解压JDK安装文件：

tar -xf /root/jdk-8u291-linux-x64.tar.gz -C /usr/local/

在这里插入图片描述

设置环境变量：

export JAVA_HOME=/usr/local/jdk1.8.0_291/
export PATH=$PATH:/usr/local/jdk1.8.0_291/bin/

在这里插入图片描述

添加环境变量至/etc/profile文件：

export JAVA_HOME=/usr/local/jdk1.8.0_291/
PATH=$PATH:/usr/local/jdk1.8.0_291/bin/

在这里插入图片描述

查看Java版本：

java -version

在这里插入图片描述

2、安装ZooKeeper

下载ZooKeeper文件：

参考地址：https://downloads.apache.org/zookeeper/stable/

在Supervisor节点上（ZooKeeper节点）解压ZooKeeper安装文件：

tar -xf /root/apache-zookeeper-3.6.3-bin.tar.gz -C /usr/local/

在这里插入图片描述

在Supervisor节点上（ZooKeeper节点）设置环境变量：

export PATH=$PATH:/usr/local/apache-zookeeper-3.6.3-bin/bin/

在这里插入图片描述

在Supervisor节点上（ZooKeeper节点）添加环境变量至/etc/profile文件：

PATH=$PATH:/usr/local/apache-zookeeper-3.6.3-bin/bin/

在这里插入图片描述

在Supervisor节点上（ZooKeeper节点）创建ZooKeeper数据目录：

mkdir /usr/local/apache-zookeeper-3.6.3-bin/data/

在这里插入图片描述

在Supervisor节点上（ZooKeeper节点）创建ZooKeeper配置文件：

mv /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo_sample.cfg /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo.cfg

在这里插入图片描述

在Supervisor节点上（ZooKeeper节点）修改ZooKeeper配置文件：

vim /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo.cfg

添加数据目录：

dataDir=/usr/local/apache-zookeeper-3.6.3-bin/data/

在这里插入图片描述

添加ZooKeeper节点：

server.1=supervisor1:2888:3888
server.2=supervisor2:2888:3888
server.3=supervisor3:2888:3888

在这里插入图片描述

ZooKeeper配置参数解读

Server.A=B:C:D。

A是一个数字，表示这个是第几号服务器；

B是这个服务器的IP地址；

C是这个服务器与集群中的Leader服务器交换信息的端口；

D是当集群中的Leader服务器故障，需要一个端口来重新进行选举，选出一个新的Leader，而端口D就是用来执行选举时服务器相互通信的端口。

集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

在Supervisor1节点上（ZooKeeper节点）创建myid文件，并添加A值：

touch /usr/local/apache-zookeeper-3.6.3-bin/data/myid
echo 1 > /usr/local/apache-zookeeper-3.6.3-bin/data/myid

在这里插入图片描述

在Supervisor2节点上（ZooKeeper节点）创建myid文件，并添加A值：

touch /usr/local/apache-zookeeper-3.6.3-bin/data/myid
echo 2 > /usr/local/apache-zookeeper-3.6.3-bin/data/myid

在这里插入图片描述

在Supervisor3节点上（ZooKeeper节点）创建myid文件，并添加A值：

touch /usr/local/apache-zookeeper-3.6.3-bin/data/myid
echo 3 > /usr/local/apache-zookeeper-3.6.3-bin/data/myid

在这里插入图片描述

在Supervisor节点上（ZooKeeper节点）启动ZooKeeper：

zkServer.sh start

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在Supervisor节点上（ZooKeeper节点）查看ZooKeeper状态：

zkServer.sh status

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

3、安装Storm集群

下载Storm文件：

参考地址：http://storm.apache.org/downloads.html

解压Storm安装文件：

tar -xf /root/apache-storm-2.2.0.tar.gz -C /usr/local/

在这里插入图片描述

设置环境变量：

export PATH=$PATH:/usr/local/apache-storm-2.2.0/bin/

在这里插入图片描述

添加环境变量至/etc/profile文件：

PATH=$PATH:/usr/local/apache-storm-2.2.0/bin/

Nimbus节点/etc/profile文件：

在这里插入图片描述

Supervisor节点/etc/profile文件：

在这里插入图片描述

查看Storm版本：

storm version

在这里插入图片描述

4、配置Storm集群

修改/usr/local/apache-storm-2.2.0/conf/storm.yaml文件：

storm.zookeeper.servers:
    - "supervisor1"
    - "supervisor2"
    - "supervisor3"

nimbus.seeds: ["nimbus1", "nimbus2"]

storm.local.dir: "/usr/local/apache-storm-2.2.0/workdir"

supervisor.slots.ports:
     - 6700
     - 6701
     - 6702

在这里插入图片描述

5、启动Storm集群

在Nimbus节点上启动Nimbus：

nohup storm nimbus &

在这里插入图片描述

在Nimbus节点上启动UI：

nohup storm ui &

在这里插入图片描述

在Supervisor节点上启动Supervisor：

nohup storm supervisor &

在这里插入图片描述

在Supervisor节点上启动LogViewer：

nohup storm logviewer &

在这里插入图片描述

在各类节点上查看Storm进程：

jps

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

登录Nimbus：

http://192.168.0.11:8080

在这里插入图片描述

http://192.168.0.12:8080

在这里插入图片描述

6、Storm集群故障演示

在任意Nimbus节点上查看Nimbus状态：

在这里插入图片描述

Nimbus1节点故障，主从节点已切换

关闭Nimbus1节点

在Nimbus2节点上查看Nimbus状态：

在这里插入图片描述

恢复Nimbus1节点，启动Nimbus与UI

在任意Nimbus节点上查看Nimbus状态：

在这里插入图片描述

Nimbus1节点恢复，主从节点未切换

mengshicheng1992
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Storm容错和高可用
weixin_33872566的博客
02-02 137
Daemon Fault Tolerance Storm有一些不同的守护进程 Nimbus负责调度workers supervisors负责运行和杀死workers log views负责访问日志 UI负责显示集群的状态 What happens when a worker dies? 当一个worker死了以后，supervisor将会重启它。如果在启动过程中不断的失败，并...
Storm之——Storm集群开启HA高可用
冰河的专栏
08-21 886
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/99972624 1.修改storm.yaml文件 配置可以启动nimbus的节点： nimbus.seeds: ["binghe101", "binghe102", "binghe103"] 2.启动Nimubs和UI高可用 在集群中配置的三个节点启动nimbus和UI...
第五章： Storm深度解析
08-30
1.Storm 框架概述2.Storm 高可用集群搭建3.Storm Topology 4.第一个Storm程序5.Storm远程模 6.Storm编程详 7.Storm集群架构8.Storm任务分配流程 9.Storm集群的容错机 10.Storm线程模型及消息系统11.Storm Web UI 12.Storm 1.0 事务 13.Storm trident 基本概念及介绍
【原】storm源码之一个class解决nimbus单点问题
weixin_30267697的博客
09-14 176
一、storm nimbus 单节点问题概述 1、storm集群在生产环境部署之后，通常会是如下的结构：从图中可以看出zookeeper和supervisor都是多节点，任意1个zookeeper节点宕机或supervisor节点宕机均不会对系统整体运行造成影响，但nimbus和ui都是单节点。ui的单节点对系统的稳定运行没有影响，仅提供storm-ui页面展示统计信息。但nimbus承载了集群...
Storm集群环境搭建
06-15
Storm集群环境搭建是指在多台服务器上安装和配置Storm集群，实现高可用和负载均衡。Storm是一个分布式实时计算系统，能够对大量数据进行实时处理和分析。本文将详细介绍Storm集群环境搭建的步骤，包括集群规划、...
storm集群部署和配置过程详解
03-14
以下是搭建Storm集群的详细步骤： 1. **设置Zookeeper集群**： Storm依赖Zookeeper进行集群协调，确保高可用性和容错性。Zookeeper集群需要正确配置，包括设置适当的副本数量（通常为奇数个节点以避免投票冲突）和...
集群搭建与部署手册，结合实际工作。
01-26
这些集群的搭建和部署都需要考虑高可用性、容错性和扩展性，确保在多节点环境下稳定运行。在实际工作中，还需要监控集群状态，及时发现和解决问题，保证服务的连续性和数据的一致性。同时，了解和掌握这些技术对于...
flume+kafka+storm教程
12-19
这种架构允许系统处理大量实时数据，同时保持高可用性和可扩展性。 总结一下，本教程涵盖了使用 Flume 进行数据采集，Kafka 进行数据传输，以及如何在集群环境中配置这些组件。通过学习这个教程，用户可以了解如何...
分布式集群技术.pdf
11-24
Hadoop 离线计算是分布式集群技术的基础，Hadoop2.x 集群搭建、NameNode 的高可用性（HA）、HDFS Federation、ResourceManager 的高可用性（HA）、Hadoop 集群常见问题和解决方法、Hadoop 集群管理等内容将为读者...
Storm集群搭建
09-21
Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建
高并发高可用高性能的解决方案汇总整理
03-13 3134
难题与方案 1、亿级流量电商网站的商品详情页系统架构 面临难题：对于每天上亿流量，拥有上亿页面的大型电商网站来说，能够支撑高并发访问，同时能够秒级让最新模板生效的商品详情页系统的架构是如何设计的? 解决方案：异步多级缓存架构+nginx本地化缓存+动态模板渲染的架构 2、redis企业级集群架构 面临难题：如何让redis集群支撑几十万QPS高并发+99.99%高可用+TB级海量数据+企业级数据...
我的大数据之路 -- storm-1.2.2 高可用安装。
qq_41562377的博客
05-11 195
stom简单理解 一、Storm集群架构 Nimbus ：Storm集群的Master节点，负责分发用户代码，指派给具体的Supervisor节点上的Worker节点，去运行Topology对应的组件（Spout/Bolt）的Task。 Supervisor ：Storm集群的从节点，负责管理运行在Supervisor节点上的每一个Worker进程的启动和终止。通过Storm的配置文件中的...
Storm Nimbus的HA，Storm在1.0之后对nimbus支持了HA
大JAVA解决方案
02-26 880
Storm Nimbus的HA aiguang2016 关注2016.12.15 00:16* 字数 1101 阅读 1233评论 0喜欢 2Storm在1.0之后对nimbus支持了HA，根据官方提供的文档，同样是利用了zk来做分布式锁，并且配置文件中新增了storm.seeds，而原来的storm.hosts改为deprecated。但是nimbus如果想成为leader，必须有一个先决条件就...
Storm集群开启HA高可用
木木与呆呆的专栏
12-20 672
Storm开启HA高可用，包括Nimbus和UI开启两个及以上的进程。 基于已经安装好的Storm集群，开启关键节点角色的HA高可用。 Storm安装请参考Storm集群安装Version1.0.1 1.修改storm.yaml文件 配置项配置可以启动nimbus的节点： nimbus.seeds: ["zdh-237", "zdh-238", "zdh-...
storm集群搭建
weixin_34250434的博客
12-31 92
2019独角兽企业重金招聘Python工程师标准>>> ...
Storm之——搭建Storm集群
冰河的专栏
11-01 8711
一、机器规划 主机名 IP Zookeeper Nimbus Supbervisor liuyazhuang161 192.168.209.161 是 是 否 liuyazhuang162 192.168.209.162 是 否 是 liuyazhuang163 192.168.209.163 是 否 是
搭建storm集群
至道
08-28 3142
搭建storm集群 系统centos7 1、安装Java jdk  1.7 2、安装zookeeper 3.4.8 3、安装Python2.7X 4、安装storm0.9 5、安装git 6、安装maven 所有安装包，等会我会打包上传，地址会放到最后，大家需要可以下载 1、安装jdk很简单 下载jdk压缩包 解压压缩包 ，我的安装目录是/software
Storm流计算项目：1号店电商实时数据分析系统-05.Kafka基础知识和集群搭建.pptx
最新发布
11-25
"Storm流计算项目：1号店电商实时数据分析系统-05.Kafka基础知识和集群搭建"是一门针对IT专业人士的实战课程，该课程涵盖了Apache Storm在实时数据分析中的应用，特别是与Apache Kafka的集成。Apache Storm是一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值