storm安装集群配置详情
1 把ip和hostname绑定
编辑文件vi /etc/hosts 增加一行记录
192.168.41.100
node1-zookeeper
每台机器都配置一个域名
192.168.41.99 node0-zookeeper
192.168.41.100 node1-zookeeper
192.168.41.101 node2-zookeeper
验证:ping
node1-zookeeper
2 查看防火墙状态:
执行命令service iptables stop
验证:service iptables status
进入防火墙内容:vim /etc/inittab
3 关闭防护墙的自动运行
执行命令chkconfig iptables off
验证:chkconfig --list | grep iptables 或 chkconfig iptables --list
========================================================
1.上传jdk安装包
2.解压安装
chmod u+x jdk-6u45-linux-x64.bin
./jdk-6u45-linux-x64.bin
安装目录: /usr/java/jdk1.8.0_51
vim /etc/profile在文件最后面添加：
export JAVA_HOME=/usr/java/
jdk1.8.0_51
export CLASSPATH=$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
更新配置：
source /etc/profile
验证查看版本号: java -version
-----------------------------------------------
1.编译安装ZMQ：
tar -zxvf zeromq-2.1.7.tar.gz -C /cloud/
cd zeromq-2.1.7下操作:
开始编译命令是: ./configure
#编译可能会出错：configure: error: Unable to find a working C++ compiler
#安装一下依赖的rpm包：libstdc++-devel gcc-c++
可以上网的情况下(自动下载需要的文件)： yum install gcc-c++
或者手动安装:(安装对应版本64位还是32位)
rpm -ivh libstdc++-devel-4.4.7-3.el6.x86_64.rpm
rpm -ivh gcc-c++-4.4.7-3.el6.x86_64.rpm
rpm -ivh libuuid-devel-2.17.2-12.9.el6.x86_64.rpm
cd zeromq-2.1.7下操作 ./configure
进行编译:make
编译安装:make install
2.编译安装JZMQ(是java调用c++的一个桥梁)：
查看帮助文档:man unzip
解压:unzip jzmq-master.zip -d /cloud/
cd /cloud/jzmq-master/下操作:
运行脚本: ./autogen.sh
#报错:autogen.sh: error: could not find libtool. libtool is required to run autogen.sh. 缺少libtool包
可以上网的情况下(自动下载需要的文件)： yum install libtool*
或者手动安装:(安装对应版本64位还是32位)
rpm -ivh autoconf-2.63-5.1.el6.noarch.rpm
rpm -ivh automake-1.11.1-4.el6.noarch.rpm
rpm -ivh libtool-2.2.6-15.5.el6.x86_64.rpm
cd /cloud/jzmq-master/下操作:
递归查看文件: ll
运行脚本: ./autogen.sh
运行脚本后产生configure文件,开始演示运行编辑脚本: ./configure
进行编译:make
编译安装:make install
3.编译安装Python(派神)
查看是否已安装:which python
查看python的版本号: python -v
tar -xvf Python-2.6.9.tgz
cd Python-2.6.9
./configure
make
make install
下载并解压Storm发布版本
下一步，需要在Nimbus和Supervisor机器上安装Storm发行版本。
1. 下载Storm发行版本
wget https://dl.dropbox.com/u/133901206/storm-0.8.2.zip
2. 解压到安装目录下：unzip storm-0.8.1.zip -d /cloud/
只安装在主节点上:tar -zxvf zookeeper-3.4.5.tar.gz -C /cloud/
cd /cloud/zookeeper/conf/下操作:
3.修改配置
在$ZOOKEEPER_HOME/conf下面执行
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.0=node0-zookeeper:8880:7770
server.1=node1-zookeeper:8880:7770
server.2=node2-zookeeper:8880:7770
echo "0" >/tmp/zookeeper/myid 对应每台机器192.168.41.99
echo "1" > /tmp/zookeeper/myid 对应每台机器192.168.41.100
echo "1" > /tmp/zookeeper/myid 对应每台机器192.168.41.100
echo "2" >/tmp/zookeeper/myid 对应每台机器192.168.41.101
将配置好的zk拷贝到其他节点
4.启动zk集群
在各个节点上分别运行命令启动zk
./zkServer.sh start
查看zk状态
./zkServer.sh status
同步各个模块
rsync -avz zookeeper root@192.168.41.99:/root/
rsync -avz zookeeper root@192.168.41.101:/root/
--------------------------------------------------------
5.配置storm和zookeeper的环境变量问题
之后执行命令:source /etc/profile
cd /cloud/zookeeper/bin/操作:
启动: ./zkServer.sh start (或 zkServer.sh start)
cd /cloud/storm/操作:
ls -l
cd conf/下操作:
递归查看文件: ll
修改storm.yaml配置文件: vim storm.yaml
Storm发行版本解压目录下有一个conf/storm.yaml文件，用于配置Storm。
默认配置在这里可以查看。conf/storm.yaml中的配置选项将覆盖defaults.yaml中的默认配置。
-----------------------------------------
以下配置选项是必须在conf/storm.yaml中进行配置的：#每个":"后 都有空格,注意啦,否则会报错
storm.zookeeper.servers:
- "
node0-zookeeper"
- "
node1-zookeeper"
- "
node2-zookeeper"
storm.zookeeper.port: 2181
nimbus.host: "
node1-zookeeper"
storm.cluster.mode: "distributed"
storm.local.dir: "/usr/work/storm-0.8.2/tmp"
ui.port: 8081
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
java.library.path:
"/usr/work/jzmq-master/lib:/usr/work/zeromq-2.1.7/lib:/usr/local/lib:/opt/local/lib:/usr/lib"
orker.childopts: "-Xmx1024m -Xss256k"
-----------------------------------------
1.1) storm.local.dir: Nimbus和Supervisor进程用于存储少量状态，如jars、confs等的本地磁盘目录，需要提前创建该目录并给
以足够的访问权限。
然后在storm.yaml中配置该目录，如：storm.local.dir: "/usr/storm/workdir"
1.2) java.library.path: Storm使用的本地库（ZMQ和JZMQ）加载路径，默认为"/usr/local/lib:/opt/local/lib:/usr/lib"，
一般来说ZMQ和JZMQ默认安装在/usr/local/lib 下，因此不需要配置即可。
1.3) nimbus.host: Storm集群Nimbus机器地址，各个Supervisor工作节点需要知道哪个机器是Nimbus，以便下载Topologies的jars、confs等文件，如：nimbus.host: "master100" #配置主节点的地址
2 ) supervisor.slots.ports: 对于每个Supervisor工作节点，需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息，该配置选项即用于定义哪些端口是可被worker使用的。默认情况下，每个节点上可运行4个workers，分别在6700、6701、6702和6703 端口，如：
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703 (#利用空格键跳行,不要使用Tab键)
- 6704
- 6705
- 6706
- 6707
说明：
storm.local.dir表示storm需要用到的本地目录。
nimbus.host表示那一台机器是master机器，即nimbus。
storm.zookeeper.servers表示哪几台机器是zookeeper服务器。
storm.zookeeper.port表示zookeeper的端口号，这里一定要与zookeeper配置的端口号一致，否则会出现通信错误，切记切记。当然你也可以配superevisor.slot.port，supervisor.slots.ports表示supervisor节点的槽数，就是最多能跑几个worker进程（每个sprout或bolt默认只启动一个worker，但是可以通过conf修改成多个）。
好了，storm集群就配置好了。
-------------------------------------------
修改环境变量是:
export JAVA_HOME=/usr/java/jdk1.6.0_45
export ZOOKEEPER_HOME=/usr/work/zookeeper-3.4.5
export STORM_HOME=/usr/work/storm-0.8.2
export CLASSPATH=$JAVA_HOME/bin
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$STORM_HOME/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/work/jzmq-master/lib:/usr/work/zeromq-2.1.7/lib
之后执行命令:source /etc/profile
------------------------------------------------
6. 启动Storm各个后台进程
最后一步，启动Storm的所有后台进程。和Zookeeper一样，Storm也是快速失败（fail-fast)的系统，这样Storm才能在任意时刻被停止，并且当进程重启后被正确地恢复执行。这也是为什么Storm不在进程内保存状态的原因，即使Nimbus或Supervisors被重启，运行中的Topologies不会受到影响。
★☆★以下是启动Storm各个后台进程的方式：★☆★
cd ../storm/bin/下操作:启动: ./storm nimbus
查看进程:jps 如果没有就重启一个命令行,source /etc/profile 在jps 即可查看到进程nimbus
☆Nimbus: 在Storm主控节点上运行"命令是: ./storm nimbus >/dev/null 2>&1 &
#启动Nimbus后台程序，并放到后台执行；
☆Supervisor: 在Storm各个工作节点上运行"命令是: ./storm supervisor >/dev/null 2>&1 &
#启动Supervisor后台程序，并放到后台执行；
★UI: 在Storm主控节点上运行"命令是: ./storm ui >/dev/null 2>&1 &"
(解析:dev启动一个记录日子文件,名为null, 2是标准输出,&1是错误输出, &结束)
#启动UI后台程序，并放到后台执行,进程名是core，启动后可以通过监控网页访问: http://192.168.80.100:18080
或 http://master100:80801
观察集群的worker资源使用情况、Topologies的运行状态等信息。
注意事项：
Storm后台进程被启动后，将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。
经测试，Storm UI必须和Storm Nimbus部署在同一台机器上，否则UI无法正常工作，因为UI进程会检查本机是否存在Nimbus链接。
为了方便使用，可以将bin/storm加入到系统环境变量中。
至此，Storm集群已经部署、配置完毕，可以向集群提交拓扑运行了。
3. 向集群提交任务
1）启动Storm Topology：
执行jar包:
storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3
其中，allmycode.jar是包含Topology实现代码的jar包，org.me.MyTopology的main方法是Topology的入口，arg1、arg2和arg3为org.me.MyTopology执行时需要传入的参数。
2）停止Storm Topology：
storm kill {toponame}
其中，{toponame}为Topology提交到Storm集群时指定的Topology任务名称。
现在准备启动strom集群：
在主节点hostA上启动：
# storm nimbus &
# storm supervisor &
# storm ui &
通过网页查看:http://192.168.41.100:8081
总结: 其中一台子节点进程supervisor 和worker 死掉了之后, 会被主节点来从新分配任务到另外的子节点启动来运行执行任务,这就是storm的高可靠性.
扫一扫
599
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
