storm集群基础+部署

Storm集群部署1

前期准备工作：
1、打开虚拟机ifconfig查看ip
[root@master Desktop]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:14:38:86
inet addr:192.168.110.128 Bcast:192.168.110.255 Mask:255.255.255.0
2、修改linux主机名：
[root@master Desktop]# vim /etc/sysconfig/network

•修改ip
[root@masterDesktop]#vim/etc/sysconfig/network-scripts/ifcfg-eth0

•修改主机名跟ip的映射关系：
[root@master Desktop]# vim /etc/hosts

•关闭防火墙：
[root@master Desktop]# service iptables stop
iptables: Setting chains to policy ACCEPT: filter [ OK ]
iptables: Flushing firewall rules: [ OK ]
iptables: Unloading modules: [ OK ]
[root@master Desktop]# chkconfig iptables off
[root@master Desktop]# reboot

3、 设置虚拟机与主机相互通信 >>>>>>>> 设置里面 改成桥接模式(可以不设置)

4、安装JDK
[root@master app]# cp jdk-8u65-linux-x64.tar.gz /home/
[root@master app]# cd /home/
[root@master home]# ll
total 177016
-rwxr–r–. 1 root root 181260798 Nov 1 20:31 jdk-8u65-linux-x64.tar.gz
[root@master home]# mkdir /usr/java
[root@master home]# mv jdk1.8.0_65/ /usr/java/
[root@master home]# ll
total 177016
-rwxr–r–. 1 root root 181260798 Nov 1 20:31 jdk-8u65-linux-x64.tar.gz
[root@master home]# cd /usr/java/
[root@master java]# ll
total 4
drwxr-xr-x. 8 uucp 143 4096 Oct 7 2015 jdk1.8.0_65
[root@master jdk1.8.0_65]# pwd
/usr/java/jdk1.8.0_65

5、配置环境变量：
[root@master bin]# vim /etc/profile

[root@master bin]# source /etc/profile
[root@master bin]# java -version
java version “1.7.0_45”
OpenJDK Runtime Environment (rhel-2.4.3.3.el6-x86_64 u45-b15)
OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)
[root@master bin]# jps
3160

6、安装storm依赖库：
[root@master app]# mkdir /cloud
[root@master cloud]# tar -zxvf zeromq-4.1.2.tar.gz -C /cloud/

•一般情况下会报错：原因是缺少c++编译器：
[root@master zeromq-4.1.2]# ./config
……
configure: error: in /cloud/zeromq-4.1.2':
configure: error: no acceptable C compiler found in $PATH
Seeconfig.log’ for more details

•解决办法：提示缺少C++编译器，先安装G++
[root@master zeromq-4.1.2]# sudo yum install gcc-c++
…..
（检测有报错）

[root@master zeromq-4.1.2]# make
[root@master zeromq-4.1.2]# make install

•安装jzmq-master（解压zip包）-d是解压到另一个目录下的意思
[root@master app]# unzip jzmq-master.zip -d /cloud/
Archive: jzmq-master.zip
dd3327d62021077dec66cacc2b21b01c1d46b3cf
….
[root@master app]# rpm -ivh libtool-2.2.6-15.5.el6.x86_64.rpm
error: Failed dependencies:
autoconf >= 2.58 is needed by libtool-2.2.6-15.5.el6.x86_64
automake >= 1.4 is needed by libtool-2.2.6-15.5.el6.x86_64
[root@master app]# rpm -ivh autoconf-2.63-5.1.el6.noarch.rpm
Preparing… #############################[100%]
1:autoconf ############################ [100%]
[root@master app]# rpm -ivh automake-1.11.1-4.el6.noarch.rpm
Preparing… ############################ [100%]
1:automake ########################## [100%]
[root@master app]# rpm -ivh libtool-2.2.6-15.5.el6.x86_64.rpm
Preparing… ############################[100%]
1:libtool #############################[100%]

[root@master app]# cd /cloud/jzmq-master/
[root@master jzmq-master]# ./autogen.sh
autoreconf: Entering directory `.’
autoreconf: configure.in: not using Gettext
……

•[root@master jzmq-master]# ./configure（上面的错误还没解决导致这里检测报错）

继续检测：
[root@master zeromq-4.1.2]# make
[root@master zeromq-4.1.2]# make install

7、开始部署storm、
[root@master app]# tar -zxvf apache-storm-0.9.6.tar.gz -C /cloud/
[root@master app]# tar -zxvf zookeeper-3.3.6.tar.gz -C /cloud/

•安装zookeeper：
[root@master cloud]# cd zookeeper-3.3.6/
[root@master zookeeper-3.3.6]# cd conf/
[root@master conf]# ll
total 12
-rw-rw-r–. 1 1000 1000 535 Jul 29 2012 configuration.xsl
-rw-rw-r–. 1 1000 1000 1698 Jul 29 2012 log4j.properties
-rw-rw-r–. 1 1000 1000 380 Jul 29 2012 zoo_sample.cfg

[root@master conf]# cp zoo_sample.cfg zoo.cfg
[root@master conf]# vim zoo.cfg 默认没有修改

[root@master zookeeper-3.3.6]# cd bin/
[root@master bin]# sh zkServer.sh start
Using config: /cloud/zookeeper-3.3.6/bin/../conf/zoo.cfg
Starting zookeeper … STARTED
[root@master bin]# jps
15729 QuorumPeerMain
15752 Jps

•安装storm
[root@master bin]# cd /cloud/
[root@master cloud]# cd storm-0.9.6/
[root@master storm-0.9.6]# cd conf/
[root@master conf]# vim storm.yaml

•查看脚本语言:
[root@master bin]# more storm
•运行脚本（提示操作）：[root@master bin]# ./storm

….

[root@master bin]# ./storm nimbus

•另启一个Terminal终端：
[root@master bin]# source /etc/profile
[root@master bin]# jps
15729 QuorumPeerMain
15902 nimbus
15983 Jps

•使用后台进程方式启动：启动storm脚本+ ui > /（参数）dev/null 2>&1 &
[root@master bin]# cd /cloud/storm-0.9.6/bin/ [root@master bin]# ./storm ui > /dev/null 2>&1 & （必须在bin目录下执行）
[1] 16017
[root@master bin]# jps
16064 Jps
15729 QuorumPeerMain
16017 core
15902 nimbus

•通过浏览器：http://192.168.110.128:8080/查看部署情况：

到这storm单节点的安装部署已经完成;

**

Storm集群部署2

**

注：在vim编辑模式下下：ctrll + v 再利用 方向键 选择多行，+dd ，即可删除多行文本；shift+z（=shift+：wq）保存退出

---

1、由主机克隆集群节点slave1和slave2
[root@master Desktop]# vim /etc/sysconfig/network
root@master Desktop]# vim /etc/hosts
[root@master Desktop]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

2、改网卡信息
[root@master Desktop]# find /etc/ -name “*net.rules”
/etc/udev/rules.d/70-persistent-net.rules
[root@master Desktop]# vim /etc/udev/rules.d/70-persistent-net.rules

测试：主机master跟节点slave1，slave2相互ping，通则正确；

3、在主节点启动storm
•测试：
[root@master ~]# jps
3075 Jps
[root@master ~]# cd /cloud/zookeeper-3.3.6/bin/
[root@master bin]# ./zkServer.sh start

•启动nimbus，在后台运行
[root@master bin]# cd /cloud/storm-0.9.6/bin/
[root@master bin]# ./storm nimbus > ../logs/info 2>&1 &
[4] 4161
[root@master bin]# jps
4161 nimbus
4212 Jps
3098 QuorumPeerMain

4、在从节点slave1上
不知道命令的情况下可以这样操作：

[root@slave1 bin]# ./storm supervisor > /dev/null 2>&1 &
[root@slave1 bin]# jps
3635 supervisor
3685 Jps

5、在从节点slave2上，操作通slave1
[root@master bin]# cd /cloud/storm-0.9.6/bin/
[root@master bin]./storm supervisor >/dev/null 2>&1 &
[root@slave2 bin]# jps
4429 supervisor
4493 Jps

6、回到主节点master上面：
[root@master bin]# ./storm ui > /dev/null 2>&1 &
[5] 4268
[root@master bin]# jps
4161 nimbus
3098 QuorumPeerMain
4268 core
4334 Jps