搭建zookeeper+storm环境

1.使用storm 用户,建立/home/storm 目录
2.新建目录及文件 /data/storm/ptpur_backtest_storm/monitor/monitor.log
3.准备环境
3.1 jdk1.8
3.2 kafka
3.3 zookeeper 3.4.14
3.4 storm 1.2.3

4.更改配置
4.1 更改zookeeper 配置
4.1.1 在/zookeeper-3.4.14 目录下新建目录 data log
mkdir data
mkdir log
4.1.2 在data目录下 echo “1” > …/data/myid (部署3台的话 1改成 1 2 3)
4.1.3 在/conf 文件夹下 新建配置文件 zoo.cfg
填入以下配置
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2183 #(根据使用端口更改)
dataDir=/home/storm/zookeeper-3.4.14/data #(新建的目录)
dataLogDir=/home/storm/zookeeper-3.4.14/log #(新建的目录)
server.1=test01:2999:3999 #根据使用配置更改
server.2=test02:2999:3999
server.3=test03:2999:3999

5.启动zookeeper
/home/storm/zookeeper-3.4.14/bin 目录下执行 ./zkServer.sh start (每台都执行)
./zkServer.sh status 查看启动状态
vi zookeeper.out 查看启动日志

以上可参考测试环境

6.引入storm 可以将测试环境的storm包拷贝 也可以解压自己配置

6.1 拷贝log4j2 里的日志配置文件
6.2 拷贝lib 里的使用到的jar包
6.3 修改apache-storm-1.2.3/conf 下的storm.yaml 文件
注意更改配置项
strom.zookeeper.servers #上面使用的zookeeper
strom.zookeeper.port #见上方
storm.local.dir #/home/storm/apache-storm-1.2.3/storm-local
ui.port #8080
nimbus.seeds #3台
supervisor.slot.ports #端口见原来的0.9.6配置
supervisor.childopts #后面的路径注意 /home/storm/apache-storm-1.2.3/logs/gc-storm-supervisor.log
worker.childopts #-Xloggc:/home/storm/apache-storm-1.2.3/logs/gc-storm-worker.log -Djava.BackTestStorm.env=prod
(可参考测试环境)

6.4 上传original-BackTestStorm-1.0.0.jar 至bin目录下
6.5 编写 start.sh stop.sh submitTopology.sh restartTopology.sh killTopology.sh 脚本
start.sh (有3台需要启动nimbus,有1台需要ui,9台需要supervisor)

cd /home/storm/apache-storm-1.2.3/bin

nohup ./storm nimbus >/dev/null 2>&1 &
sleep 5

nohup ./storm ui >/dev/null 2>&1 &
sleep 5

nohup ./storm supervisor >/dev/null 2>&1 &

stop.sh  需要修改下zookeeper 目录

rm -rf /home/storm/apache-storm-1.2.3/storm-local/*

#kill supervisor
kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print $2}'`

#kill nimbus
kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' | fgrep -v egrep | awk '{print $2}'`

/usr/local/zookeeper-3.4.14/bin/zkCli.sh << EOF   #这里需要更改一下目录
rmr /storm_test  #这里是storm.yaml 配置的
EOF

submitTopology.sh   newquery 后的第一个参数为worker 数参照现在线上的配置配置

STORM_HOME="/home/storm/apache-storm-1.2.3/bin"
$STORM_HOME/storm jar $STORM_HOME/original-BackTestStorm-1.0.0.jar com.myhexin.storm.topologys.KafkaMain newquery 10 2 200 15 2 30 2

killTopology.sh 
./storm kill newquery -w 0

restartTopology.sh
STORM_HOME="/home/storm/apache-storm-1.2.3/bin"
$STORM_HOME/storm kill newquery -w 0;sleep 8; bash $STORM_HOME/submitTopology.sh;

7.启动Storm /bin 目录下./start.sh
8.jps 查看nimbus supervisor core 是否启动
9.查看/log日志