本地伪集群模式 Ubuntu+Strom+Zookeeper

最新推荐文章于 2020-11-12 22:25:31 发布
最新推荐文章于 2020-11-12 22:25:31 发布
阅读量147 收藏 1
点赞数
分类专栏： Strom Zookeeper Ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sleetdream/article/details/89710734
版权
Strom 同时被 3 个专栏收录
2 篇文章 0 订阅
订阅专栏
Zookeeper
2 篇文章 0 订阅
订阅专栏
Ubuntu
2 篇文章 0 订阅
订阅专栏

单机伪集群模式 Ubuntu+Strom+Zookeeper

部署环境

软件版本
Ubuntu18.04.2
JDK8u221
Strom1.2.2
Zookeeper3.4.14

事前准备

共享目录

共享文件夹
1 设置->共享文件夹
2. 键入如下命令，参数share为上一步中共享文件夹名称，参数 /mnt/share/为linux上文件夹路径

sudo mount -t vboxsf share /mnt/share

安装JDK

1.解压

sudo tar -zxvf jdk-8u211-linux-x64.gz -C /opt

2.改变文件所有者

sudo chown -R 用户名:用户组名 /opt/jdk1.8.0.211

3.设置环境变量

sudo gedit ~/.bashrc

4.在文末添加环境变量，保存退出

#jdk
export JAVA_HOME=/opt/jdk1.8.0_211
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

5.生效环境变量

source ~/.bashrc

6.验证

java -version

在这里插入图片描述

安装Zookeeper

1.解压

sudo tar -zxvf zookeeper-3.4.14.tar.gz -C /opt

2.设置环境变量

sudo gedit ~/.bashrc

3.在文末添加环境变量，保存退出

#zookeeper
export ZK_HOME=/opt/zookeeper-3.4.14
export PATH=$PATH:$ZK_HOME/bin

4.生效环境变量

source ~/.bashrc

5.创建数据、日志文件夹

cd /opt/zookeeper-3.4.14/
mkdir data
mkdir logs

6.创建集群文件，将zookeeper文件夹拷贝3份

cd /opt
sudo mkdir zookeeper
sudo cp -r zookeeper-3.4.14 zookeeper/1
sudo cp -r zookeeper-3.4.14 zookeeper/2
sudo cp -r zookeeper-3.4.14 zookeeper/3

7.改变文件所有者

sudo chown -R 用户名:用户组名 /opt/zookeeper

8.修改3个节点的配置文件

cd /opt/zookeeper/1/conf #进入配置文件目录
cp zoo_sample.cfg zoo.cfg #拷贝本地配置文件
sudo gedit zoo.cfg #编辑本地配置文件

9.分别添加Zookeeper配置
dataDir和dataLogDir分别为各节点对应路径
clientPort三个不同即可，如：2181、2182、2183

dataDir=/opt/zookeeper/1/data
dataLogDir=/opt/zookeeper/1/logs
clientPort=2181

tickTime=2000
initLimit=5
syncLimit=2

server.1=localhost:4181:5181
server.2=localhost:4182:5182
server.3=localhost:4183:5183

10.创建ServerID
除了修改zoo.cfg配置文件外,zookeeper集群模式下还要配置一个myid文件,这个文件需要放在dataDir目录下。
这个文件里面有一个数据就是A的值（该A就是zoo.cfg文件中server.A=B:C:D中的A）,在zoo.cfg文件中配置的dataDir路径中创建myid文件。
即对应上一步设置中server.1

echo "1" > /opt/zookeeper/1/data/myid
echo "2" > /opt/zookeeper/2/data/myid
echo "3" > /opt/zookeeper/3/data/myid

11.启动三个节点

cd /opt/zookeeper/1/bin
zkServer.sh start ../conf/zoo.cfg

cd /opt/zookeeper/2/bin
zkServer.sh start ../conf/zoo.cfg

cd /opt/zookeeper/3/bin/
zkServer.sh start ../conf/zoo.cfg

12.验证
（1）全部启动后，进程查看，有3个QuorumPeerMain。
集群3个节点有一个未启动，执行 status指令会报错。

cd /opt/zookeeper/1/bin
zkServer.sh status
jps

在这里插入图片描述
（2）客户端

cd /opt/zookeeper/1/bin
#客户端
./zkCli.sh -server localhost:2181

在这里插入图片描述

Storm安装

1.解压

sudo tar -zxvf apache-storm-1.2.2.tar.gz -C /opt

2.设置环境变量

sudo gedit ~/.bashrc

3.在文末添加环境变量，保存退出

#storm
export STORM_HOME=/opt/apache-storm-1.2.2
export PATH=$PATH:$STORM_HOME/bin

4.生效环境变量

source ~/.bashrc

5.创建集群文件，将storm文件夹拷贝3份

cd /opt
sudo mkdir zookeeper
sudo cp -r apache-storm-1.2.2 storm/1
sudo cp -r apache-storm-1.2.2 storm/2
sudo cp -r apache-storm-1.2.2 storm/3

6.改变文件所有者

sudo chown -R 用户名:用户组名 /opt/storm

7.修改3个节点的配置文件

sudo gedit /opt/storm/1/conf/storm.yaml #编辑本地配置文件

8.分别添加storm配置
主节点： server1

# 指定zookeeper地址，集群的话配置多个server
storm.zookeeper.servers:
     - "localhost"
    # - "server2"
    
storm.zookeeper.port: 2181
#ui.port: 8085

# storm主节点，多个主节点的话配置多个host
nimbus.seeds: ["localhost"]
#nimbus.host: "localhost"

# 提交的topology都会上传到该目录，需要手动创建tmp目录
storm.local.dir: "/opt/storm/1/tmp"

# 开启的槽数量，supervisor上能够运行workers的端口列表.每个worker占用一个端口,且每个端口只运行一个worker.通过这项配置可以调整每台机器上运行的worker数.(调整slot数/每机)
supervisor.slots.ports:
 - 6700
 - 6701
 - 6702
 - 6703
# 如上注意，-和:之后都有空格;如果要搭建Storm的HA，只需要在nimbus.seeds中设置多个nimbus即可。
#Storm的event logger的功能默认是禁用的，需要在配置文件中设置：topology.eventlogger.executors: 1

从节点：server2

# 指定zookeeper地址，集群的话配置多个server
storm.zookeeper.servers:
     - "localhost"
    # - "server2"
    
storm.zookeeper.port: 2182
#ui.port: 8085

# storm主节点，多个主节点的话配置多个host
nimbus.seeds: ["localhost"]
#nimbus.host: "localhost"

# 提交的topology都会上传到该目录，需要手动创建tmp目录
storm.local.dir: "/opt/storm/2/tmp"

# 开启的槽数量，supervisor上能够运行workers的端口列表.每个worker占用一个端口,且每个端口只运行一个worker.通过这项配置可以调整每台机器上运行的worker数.(调整slot数/每机)
supervisor.slots.ports:
 - 6800
 - 6801
 - 6802
 - 6803
# 如上注意，-和:之后都有空格;如果要搭建Storm的HA，只需要在nimbus.seeds中设置多个nimbus即可。
#Storm的event logger的功能默认是禁用的，需要在配置文件中设置：topology.eventlogger.executors: 1

从节点：server3

# 指定zookeeper地址，集群的话配置多个server
storm.zookeeper.servers:
     - "localhost"
    # - "server2"
    
storm.zookeeper.port: 2183
#ui.port: 8085

# storm主节点，多个主节点的话配置多个host
nimbus.seeds: ["localhost"]
#nimbus.host: "localhost"

# 提交的topology都会上传到该目录，需要手动创建tmp目录
storm.local.dir: "/opt/storm/3/tmp"

# 开启的槽数量，supervisor上能够运行workers的端口列表.每个worker占用一个端口,且每个端口只运行一个worker.通过这项配置可以调整每台机器上运行的worker数.(调整slot数/每机)
supervisor.slots.ports:
 - 6900
 - 6901
 - 6902
 - 6903
# 如上注意，-和:之后都有空格;如果要搭建Storm的HA，只需要在nimbus.seeds中设置多个nimbus即可。
#Storm的event logger的功能默认是禁用的，需要在配置文件中设置：topology.eventlogger.executors: 1

9.启动Storm

#启动nimbus
/opt/storm/1/bin/storm nimbus & 
#启动ui，在nimbus.host所属的机器上启动ui服务;查看storm集群：访问nimbus.host:/8080，即可看到storm的ui界面
/opt/storm/1/bin/storm ui & 
#启动supervisor
/opt/storm/2/bin/storm supervisor &
/opt/storm/3/bin/storm supervisor &
#启动日志查询 ：host:8000
/opt/storm/1/bin/storm logviewer &

10.验证
（1）Storm UI
打开http://localhost:8080
在这里插入图片描述
（2）jps
在这里插入图片描述

11.杀死Storm服务

jps
#杀死jps显示的进程
sudo kill 进程id

12.相关问题解决
（1）出现如下问题
在这里插入图片描述

    /opt/apache-storm-1.2.2/bin/storm: 行 48: 10 * 行 + 行: 语法错误: 需要操作数 (错误符号是 "行 + 行")
    /opt/apache-storm-1.2.2/bin/storm: 行 49: ((: < 26 : 语法错误: 需要操作数 (错误符号是 "< 26 ")
    /opt/apache-storm-1.2.2/bin/storm: 行 77: /usr/bin/python: 没有那个文件或目录

storm文件中Python指向不对，可对storm文件进行如下修改：
（1）打开文件

cd /opt/apache-storm-1.2.2/bin 
sudo gedit storm

（2）替换为你的Python版本

# find pyhton >= 2.6
if [ -a /usr/bin/python2.6]; then
  PYTHON=/usr/bin/python3
fi
if [ -z "$PYTHON" ]; then
  PYTHON=/usr/bin/python3
fi

参考

https://blog.csdn.net/zbj18314469395/article/details/86064849
https://my.oschina.net/zctzl/blog/1631603
https://blog.csdn.net/LWJ285149763/article/details/81053473
http://www.cnblogs.com/lsdb/p/7297731.html
https://www.cnblogs.com/senlinyang/p/7833669.html
https://www.jianshu.com/p/6f5002ddceb4

sleetdream
关注
专栏目录
storm_伪集群安装
子龙修仙的博客
12-07 695
创建linux虚拟机，用户名密码都为gary，ip为192.168.32.131。 关闭防火墙： service iptables stop chkconfig iptables off 查看防火墙状态： service iptables status 安装jdk 下载并解压jdk： 在linux下创建/opt/java目录，将将jdk中的文件复制过去。 然后添加环境变量，在/et...
Storm+Zookeeper 流模式大数据处理部署手册
02-13
- 配置Zookeeper：修改`conf/zoo.cfg`，设置集群模式，例如： ```ini server.1=server1:2888:3888 server.2=server2:2888:3888 server.3=server3:2888:3888 ``` - 初始化数据目录，启动Zookeeper集群。 4. ...
ubuntu安装storm集群
因为不想回家，所以还是去搬砖。
05-06 969
一. 搭建Zookeeper集群；    参考：https://blog.csdn.net/weixin_36104843/article/details/80211404三. 下载并解压Storm发布版本；wget http://mirrors.shu.edu.cn/apache/storm/apache-storm-1.2.1/apache-storm-1.2.1.tar.gztar -zxf...
ubuntu14.04-server 上的 storm 集群配置
飞升飞的博客
10-11 1446
在实验的3台戴尔服务器上配置了strom集群，简单记录一下。写的比较糙，大家凑合看 ubuntu14.04-server系统 3台服务器  172.16.21.1  172.16.21.2  172.16.21.3上 安装storm集群 注意：请先安装jdk和tomact。jdk和tomact的安装以及配置请自行百度之 注意：以下的安装配置需要在3台服务器上都进行，只是zk和storm的
zookeeper+storm配置
weixin_44052660的博客
09-22 1554
zookeeper介绍 它是一个分布式服务框架，是Apache Hadoop的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理、发布订阅、命名服务、分布式锁、分布式协调等； Zookeeper 是分为服务端和客户端的, 客户端有 Java 的客户端, 有 Shell 命令行的客户端等, 客户端通过一个类似于文件系统的 API 来访问 Zookeeper 集群。 客户端最终是直接访问 Zookeeper 集群, 集群中有两大类
Zookeeper客户端命令详解与Strom集群部署概念
"这篇文档资料主要介绍了Zookeeper客户端命令的使用，同时也提到了Strom部署的相关概念，包括Zookeeper在Strom集群中的角色、Supervisor、Worker、Executor和Task的关系，以及并行度(parallelism)和单服务器扩展...
基于Strom的实时流量分析防火墙系统 (实现异常IP的及时封停功能)+项目源码+文档说明
最新发布
11-08
防火墙的架构采用Flume+Kafka+Strom+Zookeeper+Mysql实现,实现异常IP的及时封停功能 - 不懂运行，下载完可以私聊问，可远程教学 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！...
Storm在zookeeper上的目录结构
atarik@163.com
02-27 509
/-{storm-zk-root} -- storm在zookeeper上的根目录(默认为/storm) | |-/assignments -- topology的任务分配信息 | | | |-/{topology-id} -- 这个目录保存的是每个topology的assignments信息包括：对应的nimbus上
Storm和Zookeeper集群搭建及在java项目中的使用
徐刘根的博客
08-24 9176
上一篇：Kafka 单机和分布式环境搭建与案例使用介绍了分布式Zookeeper集群的搭建和Kafka集群的搭建，接下来学习一下Storm集群的搭建。实验环境 Cent OS 6.9 apache-storm-1.1.0 三台服务器虚拟机：192.168.1.129、192.168.1.214、192.168.1.241 准备工作1、修改服务器hostname和hosts文件使得可以直接通过ho
zookeeper+storm安装配置
yongge1981的专栏
12-21 4851
做大数据，想学习一下storm，试着在虚拟机上配置一个环境，现将具体安装过程及遇到的问题记录一下。前提已经安装并配置好了虚拟机，比如virtualbox + centos 7，并且JDK也安装并配置好，如果这个前提没有，请耐心的学习完成，可以网搜一些教程，也可以看我之前的博客。首先，下载zookeeper和storm软件，zookeeper-3.4.10-tar.gz，下载地址：http://zo
【Zookeeper在storm中扮演的角色】
07-27 333
一、Zookeeper在storm充当的作用 Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper上面写状态信息来分配任务，supervisor，task通过从zookeeper中读状态来领取任务，同时supervisor, task也会定义发送心跳信息到zookeeper，使得nimbus可以监控整个storm集群的状态，从而可以重启一些挂掉的t...
ubuntu伪分布式安装storm并运行nimbus和supervisor
追风者
11-12 691
1、修改/etc/profile 根据自己的下载路径进行修改 source /etc/profile 立即生效 2、安装依赖库文件(后面会用到，先安装上) sudo apt-get install libtool sudo apt-get install autoconf sudo apt-get install automake sudo apt-get install g++ sudo apt-get install uuid sudo apt-get install python
安装storm
u011337556的专栏
06-11 216
核心配置文件:  $SOTRM_HOME/conf/storm.yml    storm.zookeeper.servers: - zk1 - zk2         - zk3  nimbus.seeds:['host'] storm.local.dir:"$STORM_HOME/tmp" #每个supervisor下的worker数量 supervis
zookeeper单机创建伪集群
岁月静好
11-09 451
zookeeper单机创建伪集群 复制三个zookeeper文件夹，分别修改三个配置文件 1.由于是单机部署，各自的端口不能一样，配置文件clientPort需要分别修改端口值为 2181、3181、4181 2.添加集群配置，由于是单机部署，端口也不能一样 server.1=127.0.0.1:2888:3888 server.2=127.0.0.1:4888:5888 server.3=1...
Storm集群安装配置详细步骤（接上篇VM安装及Ubuntu安装）
u012084802的博客
01-08 785
所有安装包都放在home/user1/strom下 / 配置七台主机：1台nimbus主节点、3台supervisor工作节点、3台zookeeper集群节点。注意，ip地址参考自己主机分配的修改 终端执行 ifconfig 查询ip 主机名（节点） IP地址 内存(GB) VCPU (个
Storm 伪分布式环境搭建
Aimmon
10-06 612
前提：安装ZooKeeper     tar -zxvf apache-storm-1.0.3.tar.gz -C ~/training/     设置环境变量：vi ~/.bash_profile         STORM_HOME=/root/training/apache-storm-1.0.3         export STORM_HOME         PATH=$STORM_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值