storm安装部署

storm安装与部署 


一、需要准备的软件及服务器
1. 下载zookeeper，我选择的版本是3.4.6 http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.6/
2. 下载storm，我选择的版本是0.10.0 http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.10.0/apache-storm-0.10.0.tar.gz
3. 下载jdk，我选择的版本是jdk1.7.tar.gz，并安装，在/etc/profile配置JAVA_HOME,PATH
4. 服务器三台：192.168.0.68(supersior)、192.168.0.69(supersior)、192.168.0.70(nimbus),后面以最后一位数字简称服务器


二、安装zookeeper
1. 先安装jdk，具体步骤略，然后在任意一台服务器上执行
cp zookeeper-3.4.6 /usr/local/
tar -zxvf zookeeper-3.4.6
ln -s zookeeper-3.4.6 zookeeper
mkdir -p /opt/zkdata  
cd /opt/zkdata  
echo 1 > myid
cd /usr/local/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg,编辑如下内容： 
  dataDir=/opt/zkdata  
  clientPort=2181  
  server.1=192.168.0.68:2888:3888  
  server.2=192.168.0.69:2888:3888  
  server.3=192.168.0.70:2888:3888  
2. 修改/etc/profile添加环境变量
vim /etc/profile，添加如下内容：
export ZOOKEEPER="/usr/local/zookeeper"
PATH=$JAVA_HOME/bin:$ZOOKEEPER/bin:$PATH
. /etc/profile
3. 最后执行命令：zkServer.sh start  
4. 剩下两台机器重复以上步骤，注意myid每台机器不同

三、安装Storm
1. 先在任意一台机器上执行如下命令
cp apache-storm-0.10.0.tar.gz  /usr/local/
tar -zxvf apache-storm-0.10.0.tar.gz
ln -s apache-storm-0.10.0 storm
2.修改/etc/profile文件，
export STORM_PATH="/usr/local/storm"
PATH=$JAVA_HOME/bin:$ZOOKEEPER/bin:$STORM/bin:$PATH  
. /etc/profile
3. mkdir -p /opt/storm/workdir/
4.以上步骤在其他机器上重复执行
5. 为storm配置storm.yaml。注意：文件中配置项前面须有2个空格
修改storm的conf/storm.yaml文件：
  storm.zookeeper.servers:  
     - "192.168.0.68"  
     - "192.168.0.69"  
     - "192.168.0.70" 
  nimbus.host: "192.168.0.70"  
#配置slot的ip地址。配几个地址，就有几个slot(worker)。若提交的topology所声明的worker数超过当前可用的slot，该topology提交会失败。
  supervisor.slots.ports:  
     - 6700  
     - 6701  
     - 6702  
 storm.local.dir: "/opt/storm/workdir"  

四、使用storm
1. 在nimbus机器的Storm的bin目录下执行: storm nimbus  
2. 在nimbus机器上启动 Storm UI: storm ui  
3. 启动supervisor: storm supervisor  
4. 打开Storm UI 页面。http://192.168.0.70:8080  
5. 编写程序打为storm-test.jar, 将jar拷到nimbus服务器上
6. 部署topology： storm jar storm-test.jar com.dayun.MyTestTopology  
7. 查看结果。在storm的bin目录下运行： storm list  
769  [main] INFO  backtype.storm.thrift - Connecting to Nimbus at localhost:6627  
Topology_name        Status     Num_tasks  Num_workers  Uptime_secs  
-------------------------------------------------------------------  
mytest                 ACTIVE     28         3            20          

8. 关闭topology： storm kill mytest