Storm-0.10.0 集群安装和配置
最近要做毕业设计,需要用到storm流式计算架构,工欲善其事必先利其器,第一步当然是配置环境,借鉴师姐的总结加上自己在实战中的理解,总结出此步骤,如果有错误和遗漏请通过 379226749@qq.com 交流指正,谢谢!
1. 所需的安装包和版本
安装在home的storm下,路径均为 /home/qj/storm/
2. 创建Ubuntu14.04 LTS虚拟机
虚拟机OS:ubuntu-14.04.2-desktop-amd64
(下载地址:http://www.ubuntu.com/download/desktop)
磁盘:100G
内存:2G
CPU:2个
选择的是第二种安装方式,自动安装vmwaretools,比较简单
如果需要自动分区应该选择第三个
(1) 激活root账户
Ubuntu14.04安装完成后,系统默认的Root账号是关闭的。这主要是为了保护系统的安全性,但有些时候为了安装软件或进行其它操作时需要获得root权限,就得使用root账号
命令:
sudopasswd root
若要切换到root: sudo root
若要退出到一般用户:su用户名
(2) 安装搜狗中文输入法
sudoapt-get install aptitude
sudoaptitude install fcitx
安装后右上角system settings --> Language Support --> 输入密码后安装组件 --> 最下面选择fcitx --> 注销
右上角出现键盘标志
进入浏览器,下载搜狗Linux版,双击.deb文件,输入密码安装,注销,点击键盘标志,出现搜狗即为成功
3. 集群节点
配置七台主机:1台nimbus主节点、3台supervisor工作节点、3台zookeeper集群节点。注意,ip地址应该按照自己的需求修改,在原来的网段,只要没有被占用,就可以设置,查询命令:nm-tool
主机名(节点) | IP地址 | 内存(GB) | VCPU (个) | 硬盘(GB) | 节点运行进程 |
Nimbus | 192.168.200.21 | 2 | 2 | 100 | Nimbus、DRPC |
Supervisor1 | 192.168.200.22 | 2 | 2 | 100 | Supervisor、Worker |
Supervisor2 | 192.168.200.23 | 2 | 2 | 100 | Supervisor、Worker |
Supervisor3 | 192.168.200.24 | 2 | 2 | 100 | Supervisor、Worker |
Zookeeper1 | 192.168.200.25 | 2 | 2 | 100 | Leader/Follower |
Zookeeper2 | 192.168.200.26 | 2 | 2 | 100 | Follower/ Leader |
Zookeeper3 | 192.168.200.27 | 2 | 2 | 100 | Follower/ Leader(zookeeper集群中只有一个Leader) |
克隆七台主机,修改每台主机的主机名、hosts文件,为每台主机配置静态IP地址、设置SSH免秘钥登录,
(1) 修改主机名字
七台分别为:nimbus、supervisor1~supervisor3、zookeeper1~zookeeper3。
hostname //查看主机名
sudo vi /etc/hostname
linux vi操作:x 删除原来的主机名, 点insert 输入新主机名, esc 之后,:wq
保存之后退出
修改完之后需要注销,否则hosts文件无法打开
(2) 配置hosts
sudo gedit /etc/hosts
127.0.0.1 localhost
#127.0.1.1 nimbus
192.168.200.21 nimbus
192.168.200.22 supervisor1
192.168.200.23 supervisor2
192.168.200.24 supervisor3
192.168.200.25 zookeeper1
192.168.200.26 zookeeper2
192.168.200.27 zookeeper3
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhostip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
注意不要忘了第二行的#,注释掉一个地址
(3) 配置网络
点edit connections
配置之后有可能不能马上上网,可以尝试重启,或者重连,等待片刻
(4) ssh无密码登陆
Storm集群内节点间发送命令时需要通过ssh进行发送,用户不希望每发送一次命令就输入一次密码,因此需要实现节点间的SSH免秘钥登录。
$ sudo apt-get install ssh
ssh-keygen –t rsa // 一路回车就阔以了
第一次时:
scp ~/.ssh/id_rsa.pub qj@192.168.200.22:~/.ssh/authorized_keys
后面:
scp ~/.ssh/id_rsa.pub qj@192.168.200.23:~/.ssh/nim_key //nim_key是新建的文件,之后追加到authorized_keys
cat ~/.ssh/nim_key >> ~/.ssh/authorized_keys
A若想无密码访问B,就需要把公钥发送给B,B把A发来的公钥添加到自己的授权文件里。
有时会出现ssh登录不上的问题,这里有几种解决方案可供参考:
① 查看集群节点的IP地址是否有冲突
本人在实验室服务器上为自己的Storm集群虚拟机配置静态IP地址时,没有询问其他人IP地址的占用情况,结果导致个人集群某节点的IP地址与其他机器冲突。修改后正常登陆ssh
② 关闭Ubuntu14.04的防火墙
root@XXX:~# sudo ufw disable
防火墙在系统启动时自动禁用
③ Ubuntu系统上安装、启动sshd服务
sudo apt-get install openssh-server
sudo /etc/init.d/ssh restart
④ ssh还不能登录上,就修改sshd的默认配置,即ssh出现permission denied (publickey)问题:
修改/etc/ssh/sshd-config文件,将其中的PermitRootLogin no修改为yes,PubkeyAuthenticationyes修改为no,AuthorizedKeysFile .ssh/authorized_keys前面加上#屏蔽掉,PasswordAuthenticationno修改为yes就可以了。
(5) 安装JDK
下载jdk1.7.0压缩包到虚拟机的/home/storm文件夹下,jdk下载官网:http://www.oracle.com/technetwork/java/javase/downloads/index.html;这里下载jdk-1.7.0_80(http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u80-oth-JPR)
找到压缩包所在目录
tar –zxvf jdk-7u80-linux-x64.tar.gz
sudo gedit /etc/profile //编辑profile文件
if [ -d /etc/profile.d ]; then
for i in/etc/profile.d/*.sh; do
if [ -r $i ]; then
. $i
fi
done
# Java Environment Path
export JAVA_HOME=/home/qj/storm/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
unset i
fi
然后,使/etc/profile 文件生效,在终端输入:
source/etc/profile
最后,在终端使用java –version命令测试Java是否可以正常运行,如输出JDK的版本信息,则安装成功。
4. 搭建zookeeper集群
Zookeeper是针对分布式应用的高性能协调服务,是高效可靠的协同工作系统,提供的功能包括配置维护、名字服务、分布式同步、组服务等。在IP地址为192.168.1.75~77的3台主机上搭建zookeeper-3.4.6集群,zookeeper官网:http://zookeeper.apache.org/。
首先,先部署zookeeper集群的第一个节点,部署完成后将zookeeper文件和config配置文件拷贝到其他zookeeper集群节点即可(保持一致)。
(1) 单节点下载及安装zookeeper
在终端进入storm用户,输入Linux命令:
cd/home/storm //进入/home/storm文件夹
wgethttp://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz //在线下载zookeeper
tar–zxvf zookeeper-3.4.6.tar.gz //解压文件到当前目录
(2)配置zoo.cfg文件
到zookeeper目录下 sudo gedit conf/zoo.cfg
内容如下:
tickTime=2000
dataDir=/home/qj/storm/zookeeper-3.4.6/data
dateLogDir=/home/qj/storm/zookeeper-3.4.6/logs
clientPort=2181
initLimit=5
syncLimit=2
server.1=zookeeper1:2888:3888
server.2=zookeeper2:2888:3888
server.3=zookeeper3:2888:3888
其中,dataDir指定Zookeeper的数据文件目录;其中server.id=host:port:port,id是为每个Zookeeper节点的编号,保存在dataDir目录下的myid文件中,zoo1~zoo3表示各个Zookeeper节点的hostname,第一个port是用于连接leader的端口,第二个port是用于leader选举的端口。
(3)新建data和logs文件夹
mkdir /home/qj/storm/zookeeper-3.4.6/data
mkdir /home/qj/storm/zookeeper-3.4.6/logs
(4)修改profile文件,添加系统环境变量
sudo gedit /etc/profile
# Java Environment Path
export JAVA_HOME=/home/qj/storm/jdk1.7.0_80
export ZK_HOME=/home/qj/storm/zookeeper-3.4.6
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin
source/etc/profile //使profile文件生效
完成以上3步之后,将zookeeper文件和/etc/config配置文件scp到其他zookeeper集群节点(保持一致)。
集群模式下,需要在datadir配置项的目录下创建一个myid文件,myid文件的编码格式为ANSI。myid文件中写入的内容是一个数字,该数字和server.x中的x数字相对应,Zookeeper启动时会读取myid文件。
touch /home/qj/storm/zookeeper-3.4.6/data/myid
echo 1 > /home/qj/storm/zookeeper-3.4.6/data/myid
测试是否安装成功:
在目录下:bin/zkServer.sh start (三个都需要启动)
查看状态bin/zkServer.sh status
关闭zookeeper服务
bin/zkServer.sh stop
5. 安装Storm依赖库
(1) 安装Zeromq-2.1.7
//下载安装包
wgethttp://download.zeromq.org/zeromq-2.1.7.tar.gz
// 解压缩包
tar –zxvf zeromq-2.1.7.tar.gz
//进入压缩包目录
cd zeromq-2.1.7
然后进行编译、安装,命令如下:
./configure //用来检测安装平台的目标特征
碰到问题:
Q1:configure: error: Unable to find a workingC++ compiler
solution:安装C++/C编译器,命令:
sudo apt-get install g++;
sudo apt-get install gcc;
Q2:configure: error: cannot link with-luuid, install uuid-dev.
solution:sudo apt-get install uuid-dev会出现上图问题,
要先:sudo apt-get update 如果还不行,就重启!!
sudomake //用来编译,它从Makefile中读取指令,然后编译。
sudomake install //用来安装,它从Makefile中读取指令,安装到指定目录
(2) 安装JZMQ
//安装git
sudoapt-get install git
//下载jzmq包
gitclone https://github.com/nathanmarz/jzmq.git
//进入jzmq安装包
cdjzmq
然后进行编译、安装,命令如下:
命令:./autogen.sh
./configure
注意:
② 为了保证jzmq正常工作,一般需要先完成java的安装及配置;
② 在运行脚本./autogen.sh时,碰到问题:
Q1:autogen.sh:error: could not find libtool. libtool is required to run autogen.sh.
solution: sudo apt-get install libtool
Q2:autogen.sh:error: could not find autoreconf. autoconf and automake are required to runautogen.sh.
solution:sudoapt-get install autoreconf*
命令:sudo make
③ 在编译的过程中,可能会出现以下问题:
Q1:storm@nimbus:~/jzmq$make
Makingall in src
make[1]:Entering directory `/home/storm/jzmq/src'
make[1]:*** No rule to make target `classdist_noinst.stamp', needed by`org/zeromq/ZMQ.class'. Stop.
make[1]:Leaving directory `/home/storm/jzmq/src'
make:*** [all-recursive] Error 1
solution:
需要touch “classdist_noinst.stamp”,命令如下:
touchsrc/classdist_noinst.stamp
Q2:$make
...
make[1]:*** No rule to make target `org/zeromq/ZMQException.class, needed by`all'. Stop.
make:*** [all-recursive] Error 1
solution:
编译class,命令如下:
$ cd src/org/zeromq/
$javac *.java
$cd ..
$sudomake
... success!
命令:sudo make install
(3) 安装Python-2.7.10
//下载python-2.17.10
wgethttps://www.python.org/downloads/release/python-2710/Python-2.7.10.tgz
//编译安装Python-2.7.10
$ tar –zxvf Python-2.7.10.tgz
$ cd Python-2.7.10
$ ./configure
$ make
$ sudo make install
//测试
$ python -V
(4) 安装unzip
执行命令安装unzip:
$sudo apt-get install unzip
6. 安装Storm发行版
需要在Nimbus和Supervisor节点上安装Storm发行版
(1) 下载Storm-0.10.0
$ wgethttp://mirror.bit.edu.cn/apache/storm/apache-storm-0.10.0/apache-storm-0.10.0.tar.gz
(2) 解压到安装目录/home/storm
$tar –zxvf apache-storm-0.10.0.tar.gz
$mv apache-storm-0.10.0 storm-0.10.0 //修改文件名 mv [原文件名] [修改后文件名]
7. 配置storm.yaml文件
Storm发行版本解压目录下有一个conf/storm.yaml文件,用于配置Storm。conf/storm.yaml中的配置选项将覆盖defaults.yaml中的默认配置。以下配置选项是必须在conf/storm.yaml中进行配置的:
gedit/home/qj/storm/storm-0.10.0/conf/storm.yaml
########### These MUST be filled infor a storm configuration
storm.zookeeper.servers:
- "192.168.200.25"
- "192.168.200.26"
- "192.168.200.27"
nimbus.host:"192.168.200.21"
storm.local.dir:"/home/qj/storm/storm-0.10.0/workdir"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
# ##### These may optionally befilled in:
#
## List of custom serializations
# topology.kryo.register:
# - org.mycompany.MyType
# - org.mycompany.MyType2:org.mycompany.MyType2Serializer
#
## List of custom kryo decorators
# topology.kryo.decorators:
# - org.mycompany.MyDecorator
#
## Locations of the drpc servers
drpc.servers:
- "192.168.200.21"
8. 启动Storm各个守护进程
(1) 先开启zookeeper服务
(2) 然后分别在nimbus节点和supervisor节点开启后台守护进程
① nimbus节点启动:nimbus、drpc、ui
② supervisor节点启动:supervisor
然后,打开浏览器,输入默认的Storm UI 网址(nimbus:8080)。若可以看到Storm UI界面(如下),storm集群安装成功。
至此,Storm-0.10.0集群的安装与部署工作完成!如果开七台虚拟机太卡的话,可以将zookeeper配置在supervisor上,注意zoo.cfg、storm.yaml的正确配置即可!
常见的问题和解决:
(1) 在查看zookeeper状态时bin/zkServer.sh status
如果出现报错Error contacting service. It is probably not run,那么可能是zoo.cfg配置出错,请认真检查
(2) 启动nimbus 时报错
可能是storm.yaml配置,注意认真检查
(3) 开启UI报错
重新启动nimbus服务
(4) 虚拟机强制关闭,出现cannot find a valid peer process toconnect to
可以删掉 虚拟机目录下面的 ".vmss" 文件,然后重启。