Storm单机环境配置

最近正在学习Storm,为了实践一下,在虚拟机(centos)上试着搭建了一下storm的环境,具体步骤如下:

一、安装python:因为系统自带的python版本有点低,所以下载安装2.7.3版本
    wget http://python.org/ftp/python/2.7.3/Python-2.7.3.tar.bz2  
    tar -jxvf Python-2.7.3.tar.bz2  
    cd Python-2.7.3 
    ./configure
    make
    make install

    安装完成后将系统默认的python指向python2.7

    mv /usr/bin/python /usr/bin/python2.6.6  <pre name="code" class="plain">vim ./conf/storm.yaml 

    ln -s /usr/local/bin/python2.7 /usr/bin/python

     
    

    升级之后会导致yum不能用,需要指定yum使用的python版本

    vi /usr/bin/yum  
    将文件头部的/usr/bin/python改为/usr/bin/python2.6.6

    二、安装java,配置环境变量

    export JAVA_HOME=/usr/java/jdk1.6.0_45
    export CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin

    三、安装zoopkeeper,配置环境变量

    wget http://mirror.nexcess.net/apache/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz
    tar -zxvf zookeeper-3.3.6.tar.gz
    cp -R zookeeper-3.3.6 /usr/local/
    ln -s /usr/local/zookeeper-3.3.6/ /usr/local/zookeeper
    vim /etc/profile
    配置环境变量
    export ZOOKEEPER_HOME=/usr/local/zookeeper-3.3.6
    export PATH=$PATH:$ZOOKEEPER_HOME/bin

    cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
    mkdir /tmp/zookeeper
    mkdir /var/log/zookeeper


    四、安装ZeroMQ

    wget http://download.zeromq.org/zeromq-2.2.0.tar.gz
    tar zxf zeromq-2.2.0.tar.gz
    cd zeromq-2.2.0
    ./configure 
    make
    make install
    

    在安装过程中会提示部分依赖不存在,使用yum安装即可。

    sudo yum install uuid*
    sudo yum install libtool
    sudo yum install libuuid
    sudo yum install libuuid-devel
    sudo yum install gcc
    sudo yum install gcc-c++
    sudo yum install make

    五、安装JZMQ

    git clone git://github.com/nathanmarz/jzmq.git
    cd jzmq
    ./autogen.sh
    ./configure
    make
    make install


    六、安装storm(因为jdk版本是1.6,所以推荐使用0.9.3以下的版本)

    tar -zxvf apache-storm-0.9.2-incubating.tar.gz
    sudo cp apache-storm-0.9.2-incubating /usr/local/
    添加环境变量

    export STORM_HOME=/usr/local/apache-storm-0.9.2-incubating 
    export PATH=$PATH:$STORM_HOME/bin  

    在修改完环境变量后,执行命令source /etc/profile使其生效。


    七、配置storm(此处如果配置不对,后面的运行会出问题,注意冒号、空格)

    vim ./conf/storm.yaml 


    最后,就可以获取测试代码测试了。

    git clone https://github.com/nathanmarz/storm-starter.git 

    cd storm-master

    mvn -f m2-pom.xml package(需安装maven)

    启动zookeeper

    ./zkServer.sh start  

    启动storm

    storm nimbus

    storm supervisor

    storm ui

    进入storm-master执行

    storm jar target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology 即可提交topology

    也可以在后面加上topology名提交

    storm jar target/storm-starter/target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology FirstStormApp 

    通过storm list命令可以查看当前运行的Topology

    也可以在storm的logs目录下查看日志文件。



    • 0
      点赞
    • 0
      收藏
      觉得还不错? 一键收藏
    • 0
      评论
    评论
    添加红包

    请填写红包祝福语或标题

    红包个数最小为10个

    红包金额最低5元

    当前余额3.43前往充值 >
    需支付:10.00
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明:

    1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

    余额充值