centos7搭建jstorm2.1.1集群环境

最新推荐文章于 2024-01-08 19:38:49 发布

置顶手里没有王

最新推荐文章于 2024-01-08 19:38:49 发布

阅读量1.4k

点赞数

分类专栏： jstorm 文章标签： jstorm应用开发环境配置

本文链接：https://blog.csdn.net/jato333/article/details/70570506

版权

jstorm 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1、软件需求

•VMware Workstaton 12.0.0

•Putty

•FileZilla

•apache-tomcat-8.5.13.tar.gz

•jdk-8u121-linux-x64.tar.gz

•zookeeper-3.5.2tar.gz

•jstorm-2.1.1.zip

2、集群规划

•192.168.174.200 jstorm01

•192.168.174.201 jstorm02

•192.168.174.202 jstorm03

3、搭建步骤

3.1安装虚拟机软件

此处省略几百字，不会安装的可以参照网上的教程

3.2创建虚拟机系统
这里写图片描述

3.2安装centos7系统

这里写图片描述

3.3配置虚拟机

3.3.1 停止并关闭防火墙

systemctl stop frewalld.service
systemctl disable frewalld.service

3.3.2 服务器配置

为了方便操作，我们使用 putty 连接 master(192.168.174.200)进行操作
这里写图片描述

3.3.2.1 安装 ZIP 文件压缩解压缩工具

yum install zip unzip

3.3.2.2 安装 glibc.i686

yum install glibc.i686

3.3.3 上传相关软件

使用 Filezilla 工具将所需软件 apache-tomcat-8.5.13.tar.gz、jdk-8u121-linux-x64.tar.gz、jstorm-2.1.1.zip、zookeeper-3.5.2tar.gz 上传至虚拟机 jstorm01
这里写图片描述

3.3.4 安装 JDK

开始安装 jdk，按顺序依次执行以下命令：

echo “export LC_ALL=en_US.UTF-8” >> /etc/profile
source /etc/profile
cd /opt
tar -xvf jdk-8u121-linux-x64.tar.gz
这里写图片描述

3.3.4.1 配置 JDK 环境

cd /opt

echo ‘## java confguraton ’ >> /etc/profile

echo ‘export JAVA_HOME=/opt/jdk1.8.0_121’ >> /etc/profile

echo ‘export PATH= $JAVA_HOME/bin:$ PATH’ >> /etc/profile

echo ‘export CLASSPATH=.: $JAVA_HOME/lib/dt.jar:$ JAVA_HOME/lib/tools.jar’ >> /etc/profile

source /etc/profile
这里写图片描述

3.3.5 安装 zookeeper

按顺序依次执行以下命令：
cd /opt

tar -xvf zookeeper-3.5.2.tar

echo ‘# zookeeper confguraton ’ >> /etc/profile

echo ‘export ZOOKEEPER_HOME=/opt/zookeeper-3.5.2’ >> /etc/profile

echo ‘export PATH= $ZOOKEEPER_HOME/bin:$ PATH’ >> /etc/profile

echo ‘export CLASSPATH=.:$ZOOKEEPER_HOME/lib’ >> /etc/profile

source /etc/profile

3.3.5.1 创建 zookeeper 相关文件

建立 zookeeper 需要的相关目录
mkdir -p /home/jstorm/jstorm/zookeeper_data
chown -R jstorm:jstorm /home/jstorm/jstorm

3.3.5.2 修改 zookeeper 配置文件

备份 zookeeper 的配置文件
cp -f /opt/zookeeper-3.5.2/conf/zoo_sample.cfg /opt/zookeeper-3.5.2/conf/zoo_sample.cfg.bak

mv /opt/zookeeper-3.5.2/conf/zoo_sample.cfg /opt/zookeeper-3.5.2/conf/zoo.cfg

修改 zookeeper 数据文件的位置

sed -i ‘s/dataDir=\/tmp\/zookeeper/dataDir=\/home\/jstorm\/jstorm\/zookeeper_data\//g’ /opt/zookeeper-3.5.2/conf/zoo.cfg

echo ‘# zookeeper cluster mathines’ >> /opt/zookeeper-3.5.2/conf/zoo.cfg

echo ‘server.1=192.168.174.200:2888:3888’ >> /opt/zookeeper-3.5.2/conf/zoo.cfg

echo ‘server.2=192.168.174.201:2888:3888’ >> /opt/zookeeper-3.5.2/conf/zoo.cfg

echo ‘server.3=192.168.174.202:2888:3888’ >> /opt/zookeeper-3.5.2/conf/zoo.cfg
这里写图片描述

3.3.6 安装 jstrom

cd /opt

unzip jstorm-2.1.1.zip -d /opt/

3.3.6.1配置 jstorm 环境

echo ‘# jstorm confguraton ’ >> /etc/profile

echo ‘export JSTORM_HOME=/opt/jstorm-2.1.1’ >> /etc/profile

echo ‘export PATH= $JSTORM_HOME/bin:$ PATH’ >> /etc/profile

source /etc/profile

3.3.6.2建立 jstorm 数据存放需要的文件

mkdir -p /home/jstorm/jstorm/jstorm_data

chown -R jstorm:jstorm /home/jstorm/jstorm

3.3.6.3修改 jstorm配置文件

配置$JSTORM_HOME/conf/storm.yaml

sed -i ‘/localhost”$/’d /opt/jstorm-2.1.1/conf/storm.yaml

sed -i /’storm.zookeeper.servers:/a\ - “192.168.174.200”’ /opt/jstorm-2.1.1/conf/storm.yaml

sed -i /’storm.zookeeper.servers:/a\ - “192.168.174.201”’ /opt/jstorm-2.1.1/conf/storm.yaml

sed -i /’storm.zookeeper.servers:/a\ - “192.168.174.202”’ /opt/jstorm-2.1.1/conf/storm.yaml

sed -i ‘s/%JSTORM_HOME%\/data/\/home\/jstorm\/jstorm\/jstorm_data/g’ /opt/jstorm-2.1.1/conf/storm.yaml

sed -i /’storm.zookeeper.root/a\ nimbus.host: “192.168.174.200”’ /opt/jstorm-2.1.1/conf/storm.yaml
这里写图片描述

3.3.7 安装 tomcat

cd /opt
tar -zxf apache-tomcat-8.5.13.tar.gz
cd /opt/apache-tomcat-8.5.13
chmod +x bin/*.sh

3.3.8建立到 jstorm UI 的软连接

cd /opt/apache-tomcat-8.5.13/webapps

cp /opt/jstorm-2.1.1/jstorm-ui-2.1.1.war /opt/apache-tomcat-8.5.13/webapps

mv ROOT ROOT.old

ln -s jstorm-ui-2.1.1 ROOT
这里写图片描述

3.3.8 修改文件所属组
cd /opt

chown -R jstorm:jstorm apache-tomcat-8.5.13

chown -R jstorm:jstorm jstorm-2.1.1

chown -R jstorm:jstorm zookeeper-3.5.2

chown -R jstorm:jstorm /home/jstorm/jstorm

3.3.9编辑/etc/hostname文件

vi /etc/hostname

jstorm01
这里写图片描述

3.3.10编辑/etc/hosts文件

192.168.174.200 jstorm01

192.168.174.201 jstorm02

192.168.174.202 jstorm03
这里写图片描述

3.3.11创建.jstrom的文件夹(切换到jstorm用户)

su – jstorm

mkdir ~/.jstorm

cp -f /opt/jstorm-2.1.1/conf/storm.yaml ~/.jstorm
这里写图片描述

3.4 克隆机器

关闭机器，以 jstorm01 为蓝本克隆 jstorm02\jstorm03，以下为克隆 jstorm02 的操作步骤，克隆 jstorm03步骤类似
这里写图片描述

克隆完 jstorm02 和 jstorm03 之后的截图如下

3.5 编辑虚拟机设备

分别选中左边的 jstorm02 和 jstorm03，进行“编辑虚拟机设备”操作，以操作 jstorm02 为例
这里写图片描述

3.6 修改虚拟机配置

3.6.1 修改jstorm02

启动 jstorm02，修改网卡、hostname、host，具体步骤如下
1)vi /etc/hostname
jstorm02

2)vi /etc/sysconfig/network-scripts/ifcfg-ens32(不同机器的配置文件名可能不同)
这里写图片描述
修改之后重启机器。

3.6.2 修改jstorm03

启动 jstorm03，修改网卡、hostname、host，具体步骤如下
1)vi /etc/hostname
jstorm03

2)vi /etc/sysconfig/network-scripts/ifcfg-ens32(不同机器的配置文件名可能不同)

3.6.3 修改 jstorm01

启动 jstorm01
1)vi /etc/hostname
jstorm01

3.7 创建 zookeeper 所需的 ID 文件(jstorm用户操作)

为方便操作，用 putty 连接 jstrom01、jstorm02 和 jstorm03
为 zookeeper 创建 myid 文件，每个虚拟机都要操作
su – jstorm

jstorm01 机器上执行：
echo ‘1’ >> /home/jstorm/jstorm/zookeeper_data/myid
jstorm02 机器上执行：
echo ‘2’ >> /home/jstorm/jstorm/zookeeper_data/myid
jstorm03 机器上执行：
echo ‘3’ >> /home/jstorm/jstorm/zookeeper_data/myid

3.8 建立各机器 SSH 免密码(jstorm用户操作)

3.8.1 各机器都操作

建立 ssh 免密码登录，在三台虚拟机上分别以 jstorm 用户登录，进行如下操作：
mkdir /home/jstorm/.ssh

chmod -R 700 /home/jstorm/.ssh

cd .ssh

ssh-keygen -t rsa
这里写图片描述

3.8.2 在 jstorm02 和 jstorm03 上操作

使用 jstorm 账户，在 jstorm02 和 jstorm03 上分别执行如下命令：

3.8.2.1 操作 jstorm02

cd .ssh

scp id_rsa.pub jstorm@jstorm01:/home/jstorm/.ssh/id_rsa.pub.jstorm02
这里写图片描述

3.8.2.2 操作 jstorm03

cd .ssh

scp id_rsa.pub jstorm@jstorm01:/home/jstorm/.ssh/id_rsa.pub.jstorm03
这里写图片描述

3.8.2.3 操作 jstorm01

使用 jstorm 账户在 jstorm01 虚拟机上进行操作
cd /home/jstorm/.ssh/
ll
cat id_rsa.pub >> authorized_keys

cat id_rsa.pub.jstorm02 >> authorized_keys

cat id_rsa.pub.jstorm03 >> authorized_keys

chmod 600 ~/.ssh/authorized_keys
这里写图片描述

将 jstorm01 虚拟机上的 authorized_keys 同步至 jstorm02 和 jstorm03

scp ~/.ssh/authorized_keys jstorm@jstorm02:/home/jstorm/.ssh/authorized_keys

scp ~/.ssh/authorized_keys jstorm@jstorm03:/home/jstorm/.ssh/authorized_keys
这里写图片描述

3.8.3 测试 ssh 免密码互通

Jstorm01 免密码访问 jstorm02 和 jstorm03
这里写图片描述
Jstorm02 免密码访问 jstorm01 和 jstorm03

Jstorm03 免密码访问 jstorm01 和 jstorm02

3.9 启动 zookeeper

使用 jstorm，在三台虚拟机上启动 zookeeper
cd /opt/zookeeper-3.5.2/bin

./zkServer.sh start

./zkServer.sh status
这里写图片描述

3.10 启动 jstorm

这时，我们可以启动 jstorm 了

3.10.1 操作 jstorm01

cd /opt/jstorm-2.1.1/bin/
./jstorm nimbus >/dev/null 2>&1 &

3.10.2 操作 jstorm02 和 jstorm03

cd /opt/jstorm-2.1.1/bin/
./jstorm supervisor >/dev/null 2>&1 &

3.10.3 查看运行状态

jps 查看运行查看运行状态
这里写图片描述

3.11 启动 jstorm UI

我们可以通过访问 jstorm UI 来查看具体信息
启动 jstorm01虚拟机的 tomcat
cd /opt/apache-tomcat-8.5.13/bin

./startup.sh
此时，我们通过访问 htp://192.168.174.200:8080 查看 jstorm 界面
这里写图片描述
奇怪，怎么没有看见页面呢？看一下tomcat日志吧

cd /opt/apache-tomcat-8.5.13/logs

more catalina.2017-04-18.log
这里写图片描述

8080端口被占用了，那就修改一下server.xml的端口吧，我改成了9000，你们随意！

vi /opt/apache-tomcat-8.5.13/conf/server.xml
这里写图片描述
再次启动tomcat，访问htp://192.168.174.200:9000

手里没有王

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
centos7搭建jstorm2.1.1集群环境

1、软件需求•VMware Workstaton 12.0.0•Putty•FileZilla•apache-tomcat-8.5.13.tar.gz•jdk-8u121-linux-x64.tar.gz•zookeeper-3.5.2tar.gz•jstorm-2.1.1.zip2、集群规划•192.168.174.200 jstorm01•192.168.174.201 jstorm02•192
复制链接

扫一扫