Storm单机环境配置

最近正在学习Storm，为了实践一下，在虚拟机(centos)上试着搭建了一下storm的环境，具体步骤如下：

一、安装python：因为系统自带的python版本有点低，所以下载安装2.7.3版本

wget http://python.org/ftp/python/2.7.3/Python-2.7.3.tar.bz2  
tar -jxvf Python-2.7.3.tar.bz2  
cd Python-2.7.3 
./configure
make
make install

安装完成后将系统默认的python指向python2.7

mv /usr/bin/python /usr/bin/python2.6.6  <pre name="code" class="plain">vim ./conf/storm.yaml 

ln -s /usr/local/bin/python2.7 /usr/bin/python

升级之后会导致yum不能用，需要指定yum使用的python版本

vi /usr/bin/yum  

将文件头部的/usr/bin/python改为/usr/bin/python2.6.6

二、安装java，配置环境变量

export JAVA_HOME=/usr/java/jdk1.6.0_45
export CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

三、安装zoopkeeper，配置环境变量

wget http://mirror.nexcess.net/apache/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz
tar -zxvf zookeeper-3.3.6.tar.gz
cp -R zookeeper-3.3.6 /usr/local/
ln -s /usr/local/zookeeper-3.3.6/ /usr/local/zookeeper
vim /etc/profile

配置环境变量

export ZOOKEEPER_HOME=/usr/local/zookeeper-3.3.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin

cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
mkdir /tmp/zookeeper
mkdir /var/log/zookeeper

四、安装ZeroMQ

wget http://download.zeromq.org/zeromq-2.2.0.tar.gz
tar zxf zeromq-2.2.0.tar.gz
cd zeromq-2.2.0
./configure 
make
make install

在安装过程中会提示部分依赖不存在，使用yum安装即可。

sudo yum install uuid*
sudo yum install libtool
sudo yum install libuuid
sudo yum install libuuid-devel
sudo yum install gcc
sudo yum install gcc-c++
sudo yum install make

五、安装JZMQ

git clone git://github.com/nathanmarz/jzmq.git
cd jzmq
./autogen.sh
./configure
make
make install

六、安装storm（因为jdk版本是1.6，所以推荐使用0.9.3以下的版本）

tar -zxvf apache-storm-0.9.2-incubating.tar.gz
sudo cp apache-storm-0.9.2-incubating /usr/local/

添加环境变量

export STORM_HOME=/usr/local/apache-storm-0.9.2-incubating 
export PATH=$PATH:$STORM_HOME/bin  

在修改完环境变量后，执行命令source /etc/profile使其生效。

七、配置storm（此处如果配置不对，后面的运行会出问题，注意冒号、空格）

vim ./conf/storm.yaml 

最后，就可以获取测试代码测试了。

git clone https://github.com/nathanmarz/storm-starter.git 

cd storm-master

mvn -f m2-pom.xml package（需安装maven）

启动zookeeper

./zkServer.sh start  

启动storm

storm nimbus

storm supervisor

storm ui

进入storm-master执行

storm jar target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology 即可提交topology

也可以在后面加上topology名提交

storm jar target/storm-starter/target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology FirstStormApp 

通过storm list命令可以查看当前运行的Topology

也可以在storm的logs目录下查看日志文件。