本地伪集群模式 Ubuntu+Strom+Zookeeper

最新推荐文章于 2020-11-12 22:25:31 发布
最新推荐文章于 2020-11-12 22:25:31 发布
阅读量135 收藏 1
点赞数
分类专栏： Strom Zookeeper Ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sleetdream/article/details/89710734
版权
Strom 同时被 3 个专栏收录
2 篇文章 0 订阅
订阅专栏
Zookeeper
2 篇文章 0 订阅
订阅专栏
Ubuntu
2 篇文章 0 订阅
订阅专栏

单机伪集群模式 Ubuntu+Strom+Zookeeper

部署环境

软件版本
Ubuntu18.04.2
JDK8u221
Strom1.2.2
Zookeeper3.4.14

事前准备

共享目录

共享文件夹
1 设置->共享文件夹
2. 键入如下命令，参数share为上一步中共享文件夹名称，参数 /mnt/share/为linux上文件夹路径

sudo mount -t vboxsf share /mnt/share

安装JDK

1.解压

sudo tar -zxvf jdk-8u211-linux-x64.gz -C /opt

2.改变文件所有者

sudo chown -R 用户名:用户组名 /opt/jdk1.8.0.211

3.设置环境变量

sudo gedit ~/.bashrc

4.在文末添加环境变量，保存退出

#jdk
export JAVA_HOME=/opt/jdk1.8.0_211
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

5.生效环境变量

source ~/.bashrc

6.验证

java -version

在这里插入图片描述

安装Zookeeper

1.解压

sudo tar -zxvf zookeeper-3.4.14.tar.gz -C /opt

2.设置环境变量

sudo gedit ~/.bashrc

3.在文末添加环境变量，保存退出

#zookeeper
export ZK_HOME=/opt/zookeeper-3.4.14
export PATH=$PATH:$ZK_HOME/bin

4.生效环境变量

source ~/.bashrc

5.创建数据、日志文件夹

cd /opt/zookeeper-3.4.14/
mkdir data
mkdir logs

6.创建集群文件，将zookeeper文件夹拷贝3份

cd /opt
sudo mkdir zookeeper
sudo cp -r zookeeper-3.4.14 zookeeper/1
sudo cp -r zookeeper-3.4.14 zookeeper/2
sudo cp -r zookeeper-3.4.14 zookeeper/3

7.改变文件所有者

sudo chown -R 用户名:用户组名 /opt/zookeeper

8.修改3个节点的配置文件

cd /opt/zookeeper/1/conf #进入配置文件目录
cp zoo_sample.cfg zoo.cfg #拷贝本地配置文件
sudo gedit zoo.cfg #编辑本地配置文件

9.分别添加Zookeeper配置
dataDir和dataLogDir分别为各节点对应路径
clientPort三个不同即可，如：2181、2182、2183

dataDir=/opt/zookeeper/1/data
dataLogDir=/opt/zookeeper/1/logs
clientPort=2181

tickTime=2000
initLimit=5
syncLimit=2

server.1=localhost:4181:5181
server.2=localhost:4182:5182
server.3=localhost:4183:5183

10.创建ServerID
除了修改zoo.cfg配置文件外,zookeeper集群模式下还要配置一个myid文件,这个文件需要放在dataDir目录下。
这个文件里面有一个数据就是A的值（该A就是zoo.cfg文件中server.A=B:C:D中的A）,在zoo.cfg文件中配置的dataDir路径中创建myid文件。
即对应上一步设置中server.1

echo "1" > /opt/zookeeper/1/data/myid
echo "2" > /opt/zookeeper/2/data/myid
echo "3" > /opt/zookeeper/3/data/myid

11.启动三个节点

cd /opt/zookeeper/1/bin
zkServer.sh start ../conf/zoo.cfg

cd /opt/zookeeper/2/bin
zkServer.sh start ../conf/zoo.cfg

cd /opt/zookeeper/3/bin/
zkServer.sh start ../conf/zoo.cfg

12.验证
（1）全部启动后，进程查看，有3个QuorumPeerMain。
集群3个节点有一个未启动，执行 status指令会报错。

cd /opt/zookeeper/1/bin
zkServer.sh status
jps

在这里插入图片描述
（2）客户端

cd /opt/zookeeper/1/bin
#客户端
./zkCli.sh -server localhost:2181

在这里插入图片描述

Storm安装

1.解压

sudo tar -zxvf apache-storm-1.2.2.tar.gz -C /opt

2.设置环境变量

sudo gedit ~/.bashrc

3.在文末添加环境变量，保存退出

#storm
export STORM_HOME=/opt/apache-storm-1.2.2
export PATH=$PATH:$STORM_HOME/bin

4.生效环境变量

source ~/.bashrc

5.创建集群文件，将storm文件夹拷贝3份

cd /opt
sudo mkdir zookeeper
sudo cp -r apache-storm-1.2.2 storm/1
sudo cp -r apache-storm-1.2.2 storm/2
sudo cp -r apache-storm-1.2.2 storm/3

6.改变文件所有者

sudo chown -R 用户名:用户组名 /opt/storm

7.修改3个节点的配置文件

sudo gedit /opt/storm/1/conf/storm.yaml #编辑本地配置文件

8.分别添加storm配置
主节点： server1

# 指定zookeeper地址，集群的话配置多个server
storm.zookeeper.servers:
     - "localhost"
    # - "server2"
    
storm.zookeeper.port: 2181
#ui.port: 8085

# storm主节点，多个主节点的话配置多个host
nimbus.seeds: ["localhost"]
#nimbus.host: "localhost"

# 提交的topology都会上传到该目录，需要手动创建tmp目录
storm.local.dir: "/opt/storm/1/tmp"

# 开启的槽数量，supervisor上能够运行workers的端口列表.每个worker占用一个端口,且每个端口只运行一个worker.通过这项配置可以调整每台机器上运行的worker数.(调整slot数/每机)
supervisor.slots.ports:
 - 6700
 - 6701
 - 6702
 - 6703
# 如上注意，-和:之后都有空格;如果要搭建Storm的HA，只需要在nimbus.seeds中设置多个nimbus即可。
#Storm的event logger的功能默认是禁用的，需要在配置文件中设置：topology.eventlogger.executors: 1

从节点：server2

# 指定zookeeper地址，集群的话配置多个server
storm.zookeeper.servers:
     - "localhost"
    # - "server2"
    
storm.zookeeper.port: 2182
#ui.port: 8085

# storm主节点，多个主节点的话配置多个host
nimbus.seeds: ["localhost"]
#nimbus.host: "localhost"

# 提交的topology都会上传到该目录，需要手动创建tmp目录
storm.local.dir: "/opt/storm/2/tmp"

# 开启的槽数量，supervisor上能够运行workers的端口列表.每个worker占用一个端口,且每个端口只运行一个worker.通过这项配置可以调整每台机器上运行的worker数.(调整slot数/每机)
supervisor.slots.ports:
 - 6800
 - 6801
 - 6802
 - 6803
# 如上注意，-和:之后都有空格;如果要搭建Storm的HA，只需要在nimbus.seeds中设置多个nimbus即可。
#Storm的event logger的功能默认是禁用的，需要在配置文件中设置：topology.eventlogger.executors: 1

从节点：server3

# 指定zookeeper地址，集群的话配置多个server
storm.zookeeper.servers:
     - "localhost"
    # - "server2"
    
storm.zookeeper.port: 2183
#ui.port: 8085

# storm主节点，多个主节点的话配置多个host
nimbus.seeds: ["localhost"]
#nimbus.host: "localhost"

# 提交的topology都会上传到该目录，需要手动创建tmp目录
storm.local.dir: "/opt/storm/3/tmp"

# 开启的槽数量，supervisor上能够运行workers的端口列表.每个worker占用一个端口,且每个端口只运行一个worker.通过这项配置可以调整每台机器上运行的worker数.(调整slot数/每机)
supervisor.slots.ports:
 - 6900
 - 6901
 - 6902
 - 6903
# 如上注意，-和:之后都有空格;如果要搭建Storm的HA，只需要在nimbus.seeds中设置多个nimbus即可。
#Storm的event logger的功能默认是禁用的，需要在配置文件中设置：topology.eventlogger.executors: 1

9.启动Storm

#启动nimbus
/opt/storm/1/bin/storm nimbus & 
#启动ui，在nimbus.host所属的机器上启动ui服务;查看storm集群：访问nimbus.host:/8080，即可看到storm的ui界面
/opt/storm/1/bin/storm ui & 
#启动supervisor
/opt/storm/2/bin/storm supervisor &
/opt/storm/3/bin/storm supervisor &
#启动日志查询 ：host:8000
/opt/storm/1/bin/storm logviewer &

10.验证
（1）Storm UI
打开http://localhost:8080
在这里插入图片描述
（2）jps
在这里插入图片描述

11.杀死Storm服务

jps
#杀死jps显示的进程
sudo kill 进程id

12.相关问题解决
（1）出现如下问题
在这里插入图片描述

    /opt/apache-storm-1.2.2/bin/storm: 行 48: 10 * 行 + 行: 语法错误: 需要操作数 (错误符号是 "行 + 行")
    /opt/apache-storm-1.2.2/bin/storm: 行 49: ((: < 26 : 语法错误: 需要操作数 (错误符号是 "< 26 ")
    /opt/apache-storm-1.2.2/bin/storm: 行 77: /usr/bin/python: 没有那个文件或目录

storm文件中Python指向不对，可对storm文件进行如下修改：
（1）打开文件

cd /opt/apache-storm-1.2.2/bin 
sudo gedit storm

（2）替换为你的Python版本

# find pyhton >= 2.6
if [ -a /usr/bin/python2.6]; then
  PYTHON=/usr/bin/python3
fi
if [ -z "$PYTHON" ]; then
  PYTHON=/usr/bin/python3
fi

参考

https://blog.csdn.net/zbj18314469395/article/details/86064849
https://my.oschina.net/zctzl/blog/1631603
https://blog.csdn.net/LWJ285149763/article/details/81053473
http://www.cnblogs.com/lsdb/p/7297731.html
https://www.cnblogs.com/senlinyang/p/7833669.html
https://www.jianshu.com/p/6f5002ddceb4

sleetdream
关注
专栏目录
storm_伪集群安装
子龙修仙的博客
12-07 674
创建linux虚拟机，用户名密码都为gary，ip为192.168.32.131。 关闭防火墙： service iptables stop chkconfig iptables off 查看防火墙状态： service iptables status 安装jdk 下载并解压jdk： 在linux下创建/opt/java目录，将将jdk中的文件复制过去。 然后添加环境变量，在/et...
nginx+lua+strom+kafka实现热点数据实时展示
zhangxiaomin1992的专栏
10-09 1480
涉及图片部分访问这个地址:http://note.youdao.com/noteshare?id=55c8fe08359e502ca6434b63d4b5dc0d 假设最近一段时间内有10万个请求过来，其中1万次请求访问商品1，2万次请求访问商品2，3万次请求访问商品3，其他商品被访问次数均匀。请实时统计热点数据展示出来。 说下主要的解决步骤： 1.分发层nginx将所有的请求hash分发到...
ubuntu安装storm集群
因为不想回家，所以还是去搬砖。
05-06 955
一. 搭建Zookeeper集群；    参考：https://blog.csdn.net/weixin_36104843/article/details/80211404三. 下载并解压Storm发布版本；wget http://mirrors.shu.edu.cn/apache/storm/apache-storm-1.2.1/apache-storm-1.2.1.tar.gztar -zxf...
ubuntu14.04-server 上的 storm 集群配置
飞升飞的博客
10-11 1427
在实验的3台戴尔服务器上配置了strom集群，简单记录一下。写的比较糙，大家凑合看 ubuntu14.04-server系统 3台服务器  172.16.21.1  172.16.21.2  172.16.21.3上 安装storm集群 注意：请先安装jdk和tomact。jdk和tomact的安装以及配置请自行百度之 注意：以下的安装配置需要在3台服务器上都进行，只是zk和storm的
ubuntu伪分布式安装storm并运行nimbus和supervisor
追风者
11-12 611
1、修改/etc/profile 根据自己的下载路径进行修改 source /etc/profile 立即生效 2、安装依赖库文件(后面会用到，先安装上) sudo apt-get install libtool sudo apt-get install autoconf sudo apt-get install automake sudo apt-get install g++ sudo apt-get install uuid sudo apt-get install python
Storm在zookeeper上的目录结构
atarik@163.com
02-27 503
/-{storm-zk-root} -- storm在zookeeper上的根目录(默认为/storm) | |-/assignments -- topology的任务分配信息 | | | |-/{topology-id} -- 这个目录保存的是每个topology的assignments信息包括：对应的nimbus上
Storm+Zookeeper 流模式大数据处理部署手册
02-13
- 配置Zookeeper：修改`conf/zoo.cfg`，设置集群模式，例如： ```ini server.1=server1:2888:3888 server.2=server2:2888:3888 server.3=server3:2888:3888 ``` - 初始化数据目录，启动Zookeeper集群。 4. ...
Kafka+Strom+mongoDB 整合
01-21 2279
一、实现模型     数据流程     a、Kafka Producter生成topic1主题的消息　     b、 Storm中有个Topology，包含了KafkaSpout、SenqueceBolt、KafkaBolt三个组件。其中KafkaSpout订阅了topic1主题消息，然后发送给SenqueceBolt加工处理，最后数据由KafkaBolt生成topic2主题消息发送给Kaf
zookeeper单机创建伪集群
岁月静好
11-09 434
zookeeper单机创建伪集群 复制三个zookeeper文件夹，分别修改三个配置文件 1.由于是单机部署，各自的端口不能一样，配置文件clientPort需要分别修改端口值为 2181、3181、4181 2.添加集群配置，由于是单机部署，端口也不能一样 server.1=127.0.0.1:2888:3888 server.2=127.0.0.1:4888:5888 server.3=1...
Storm集群安装配置详细步骤（接上篇VM安装及Ubuntu安装）
u012084802的博客
01-08 760
所有安装包都放在home/user1/strom下 / 配置七台主机：1台nimbus主节点、3台supervisor工作节点、3台zookeeper集群节点。注意，ip地址参考自己主机分配的修改 终端执行 ifconfig 查询ip 主机名（节点） IP地址 内存(GB) VCPU (个
安装storm
u011337556的专栏
06-11 206
核心配置文件:  $SOTRM_HOME/conf/storm.yml    storm.zookeeper.servers: - zk1 - zk2         - zk3  nimbus.seeds:['host'] storm.local.dir:"$STORM_HOME/tmp" #每个supervisor下的worker数量 supervis
Storm 伪分布式环境搭建
Aimmon
10-06 597
前提：安装ZooKeeper     tar -zxvf apache-storm-1.0.3.tar.gz -C ~/training/     设置环境变量：vi ~/.bash_profile         STORM_HOME=/root/training/apache-storm-1.0.3         export STORM_HOME         PATH=$STORM_...
5.C-Demo-排序
09-20
5.C-Demo-排序_快速排序
java-ssm942基于ssm的保险公司营销管理系统+jsp程序源码数据库含论文.rar
09-20
本系统基于SSM(Spring+SpringMVC+MyBatis)框架,适用于毕业设计， 基于B/S模式, mysql数据库,感兴趣的朋友们可以下载研究一下。 后端采用java语言，ssm框架，mybatis操作数据源，使用软件：idea,eclipse、MySQL。完成了用户登录管理等模块的设计与实现。完成了系统数据库的设计，并基于MySQL数据库管理系统 jdk版本:jdk1.8+ 前端：jsp 开发工具：IDEA 或者eclipse都支持 编程语言: java 框架支持：ssm 数据库: mysql 版本不限 数据库工具：Navicat/SQLyog都可以 详细技术：java+ssm+jsp+MYSQL+MAVEN
基于uni-app、uView UI开发的用于表白的微信小程序项目.zip(毕设&课设&实训&大作业&竞赛&项目)
最新发布
09-20
项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传，可轻松复刻，拿到资料包后可轻松复现出一样的项目，本人系统开发经验充足（全领域），有任何使用问题欢迎随时与我联系，我会及时为您解惑，提供帮助。 【资源内容】：包含完整源码+工程文件+说明（如有）等。答辩评审平均分达到96分，放心下载使用！可轻松复现，设计报告也可借鉴此项目，该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 【提供帮助】：有任何使用问题欢迎随时与我联系，我会及时解答解惑，提供帮助 【附带帮助】：若还需要相关开发工具、学习资料等，我会提供帮助，提供资料，鼓励学习进步 【项目价值】：可用在相关项目设计中，皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面，可借鉴此优质项目实现复刻，设计报告也可借鉴此项目，也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件（如有），项目工程可直接复现复刻，如果基础还行，也可在此程序基础上进行修改，以实现其它功能。供开源学习/技术交流/学习参考，勿用于商业用途。质量优质，放心下载使用。
基于java的高考志愿选择辅助系统设计与实现.docx
09-20
基于java的高考志愿选择辅助系统设计与实现.docx
Zookeeper客户端命令详解与Strom集群部署概念
"这篇文档资料主要介绍了Zookeeper客户端命令的使用，同时也提到了Strom部署的相关概念，包括Zookeeper在Strom集群中的角色、Supervisor、Worker、Executor和Task的关系，以及并行度(parallelism)和单服务器扩展...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值