jstorm部署

普通部署

192.168.16.8, 192.168.16.9,192.168.16.10为例


一.Zookeeper

1.下载zookeeper

下载地址http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/

 

2.解压到/home/hadoop/

tar -zxvfzookeeper-3.4.6.tar.gz

 

3.配置

cd /home/hadoop/zookeeper-3.4.6/conf/

cp zoo_sample.cfg zoo.cfg

修改zoo.cfg配置:

dataDir=/home/hadoop/zookeeper-3.4.6/data

server.1=192.168.16.8:2888:3888

server.2=192.168.16.9:2888:3888

server.3=192.168.16.10:2888:3888

 

4.创建myid文件,并将内容改成对应服务器数字(例如192.168.16.8:,改成1)

5.启动

./zkServer.sh start启动zookeeper

jps #查看启动的服务名称,确认是否启动成功

 

scp/home/hadoop/.dsh/machines.list hadoop@192.168.16.9:/home/hadoop/.dsh/

scp/home/hadoop/zookeeper-3.4.6.tar.gz 192.168.16.9:/home/hadoop/

dsh -M -r ssh -a -q  -c "tar -zxvfzookeeper-3.4.6.tar.gz"

 

二.Java

sudo tar -zxvf jdk-7u72-linux-x64.tar.gz -C /usr/local/
将jdk解压至/usr/local/下
配置~/.bash_profile文件添加如下内容:
#java
export JAVA_HOME=/usr/local/jdk1.7.0_72
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
最后执行:
source ~/.bash_profile


三.jstorm

1.下载jstorm

下载地址https://github.com/alibaba/jstorm/wiki/Downloads

2.解压到/home/hadoop/

unzip jstorm-0.9.6.1.zip

3.在/home/hadoop/下创建,jstorm-data跟jstorm-logs目录

创建数据文件目录jstorm-data,日志文件目录jstorm-logs

4.创建软连接,ln -s jstorm-0.9.6.1 jstorm-current

5.修改环境变量 .bash_profile 指定JSTORM_HOME为jstorm-current  source .bash_profile

 

vi ~/.bashrc,配置:

export JSTORM_HOME=/home/hadoop/jstorm-0.9.6.1

exportPATH=$PATH:$JSTORM_HOME/bin

 

6.配置

【storm.yaml】

storm.zookeeper.servers: 表示zookeeper 的地址,

storm.zookeeper.root: 表示jstorm在zookeeper中的根目录,当多个JStorm共享一个ZOOKEEPER时,需要设置该选项,默认即为“/jstorm”

storm.local.dir: /home/hadoop/jstorm-data 表示jstorm临时数据存放目录,需要保证jstorm程序对该目录有写权限

supervisor.slots.ports: 默认是6800 6801 6802 6803 可以根据服务器配置增加

【jstorm.log4j.properties】

修改日志文件存放路径

log4j.appender.D.File= /home/hadoop/jstorm-logs/${logfile.name}

log4j.appender.M.File = /home/hadoop/jstorm-logs/${logfile.name}.metrics

修改日志保存的大小以及个数 

log4j.appender.D.MaxFileSize=200MB

 log4j.appender.D.MaxBackupIndex=20

 log4j.appender.M.MaxFileSize=100MB

 log4j.appender.M.MaxBackupIndex=10

 

在作业提交节点

#mkdir ~/.jstorm

#cp -f $JSTORM_HOME/conf/storm.yaml~/.jstorm

 

ln -sjstorm-0.9.6.1 jstorm-current

vi .bash_profile

/home/hadoop/jstorm-current


四.jstormweb ui

1.下载atyapache-tomcat-8.0.20.tar.gz

下载地址http://tomcat.apache.org/download-80.cgi

2.解压到目录/home/hadoop/

tar -zxvf apache-tomcat-8.0.20.tar.gz

 

3.配置

cd apache-tomcat-8.0.20

cd webapps

cp$JSTORM_HOME/jstorm-ui-0.9.6.1.war ./

mv ROOT ROOT.old

cd ../bin

./startup.sh


五.启动JStorm

在nimbus 节点上执行 “nohup jstorm nimbus &”, 查看$JSTORM_HOME/logs/nimbus.log检查有无错误

在supervisor节点上执行 “nohup jstorm supervisor &”, 查看$JSTORM_HOME/logs/supervisor.log检查有无错误


六.提交任务

1.提交jar包,

2.启动任务,

jstorm jar/home/hadoop/jstorm-work/realTimeMonitor-0.0.1-SNAPSHOT-jar-with-dependencies.jarcom.chinamobile.jstorm.kafka.topology.ATopology 1 1 1 192.168.16.2 6379/AKafkaStorm20150319 192.168.16.8,192.168.16.9,192.168.16.10 topic_a192.168.16.8,192.168.16.9,192.168.16.10

 

#参数需要结合实际情况修改,各参数的意思:

spout任务数

calBolt任务数

persitBolt任务数

redisIP

redisPort

kafkaZookeeperConsumeRoot

kafkaZookeeperConsumeList

topicName

kafkaZookeeperBrokerList

 

七.常见问题

1.集群通信不了,系统安全级别确认。

执行getenforce,显示disabled就没问题,

不是disabled的话,修改/etc/sysconfig/selinux

把 SELINUX=enforcing改成SELINUX=disabled,然后重启。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值