storm-安装

storm-安装

         storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候，你能够在你的本地机器上开发測试你的topology， 一切都在你的本地机器上模拟出来; 用远端模式的时候你提交的topology会在一个集群的机器上运行。

        本地机器和远端storm集群之间的关系：远端的storm集群是被一个称作Nimbus的控制节点所管理，你的机器与Nimbus通信以提交topology的代码，执行这个topology。而Nimbus会自己主动在集群内部分发你的topology代码， 分配任务给各个机器。你的机器使用一个称为storm的client去和Nimbus通信。storm仅仅有在远程模式的时候才实用； 对于用本地模式开发、測试topology来说是没什么用的。

 1. 安装Storm依赖库

        须要在Nimbus和Supervisor机器上安装Storm的依赖库。详细例如以下：

        ZeroMQ  3.0.0

       JMQ 

       Python 2.6

       Java JDK 1.7.0

2. 安装Zookeeper

       參考： http://blog.csdn.net/zhangzhebjut/article/details/38145309

   3. 安装storm

       须要在Nimbus和Supervisor机器上安装Storm发行版本号

      自从Github不提供下载功能之后。Twitter Storm的release都被放到了Dropbox上面。因为大 家都知道的原因。不那啥一下你是訪问不到了。这里有一个下载镜像：

http://xumingming.sinaapp.com/twitter-storm-downloads-cn-mirror/ ，当前的稳定版本号是0.8.2。

      假设你想从你的机器提交topology给远端的storm集群。 你应该在你的本地安装一个storm发行版。安装了storm发行版之后你会得到你和远端集群通信的工具: storm。为了在本地安装storm, 从上面的链接中下载代码。而且把它解压到你机器上的一个文件夹。然后把bin/文件夹加入到环境变量PATH里面去而且使bin/storm有可运行权限。

     unzip storm-0.8.2.zip  

    export STORM_HOME=/usr/local/storm-0.8.2

    export PATH=$STORM_HOME/bin:xxx:xxx:$PATH    

改动#STROM_HOME/conf/storm.yaml文件（ 没有该文件的话创建） 例如以下：

########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
 - "127.0.0.1"
 # - "server2"

 #
 nimbus.host: "127.0.0.1"
 storm.local.dir: "/home/XXXX/storm/workdir"
 supervisor.slots.ports:
 - 6700
 - 6701
 - 6702
 - 6703

注：一定要注意上面的书写格式。注意空格

參数说明：

nimbus.host           Nimbus节点的主机名或IP地址

storm.local.dir        为存储相关信息比方jar，topology等的文件夹。

storm.zookeeper.servers    为zookeeper集群的主机名或IP地址。

storm.zookeeper.port        为Zookeeper服务的port号。要和Zookeeper服务的port号一致（2181是默认的） 。

     以上配置须要在每一个节点，包含Nimbus和Supervisor上配置。且前三项是必须的，第二项假设不设置会报Connection Refused错误。

   4.  启动Storm集群

       在Nimbus节点上启动Nimbus服务：bin/storm nimbus &

       加&是为了在后台执行。否则当前的终端就不能再输入命令了

       在Nimbus节点上启动UI：  bin/storm ui &    这样就能够通过浏览器在http://nimbus-host:8080上观察整个Storm集群以及Topology的执行情况

       在Supervisor节点上启动Supervisor：bin/storm supervisor &

       这样整个Storm集群便启动了

5. 本地执行測试程序storm-starter

  

    下载并解压：https://github.com/nathanmarz/storm-starter

     运行这个程序须要用lein，这里介绍的方法用eclipse取代lein的作用。

    能够使用maven或lein来解决storm-starter的包依赖问题，可是因为GFW原因，可能有些依赖包无法获取。

故这里採用eclipse自导入包的方法来编译storm-starter

 

    1. 安装twitter4j

      # mkdir twitter4j  

      # cd twitter4j  

      # wget http://twitter4j.org/en/twitter4j-2.2.6.zip 

      # unzip twitter4j-2.2.6.zip  

     非常有可能下载不了，在网上搜一搜。
    2. 追加源文件storm-start/src/jvm/storm
       使用eclipse建立java project。追加twitter4j和storm的jar文件。
        File-> New -> Java Project ->随便取个名字-> Next -> Libraries -> add External JARs...-> 追加twitter4j和storm的jar文件（/path/to/twitter4j/lib/*.jar和/path/to/storm/lib/*.jar和/path/to/storm/storm-{version}.jar）-> Finsh
      导入storm-start
       File -> Import -> General -> File System -> Next -> Browse(From directory) -> /path/to/storm-start/src/jvm/storm -> Browse(Info floder)  -> xxx -> src -> OK -> “storm” 和 “Create top-level folder”前打勾 -> Finish
完毕之后如图：

                                   

                                                                                                                                                                                     
    3. 追加源文件storm-start/multilang/resources（python 文件word count用）
    File -> Import -> General -> File System -> Next -> Browse(From directory) -> /path/to/storm-start/multilang/resources -> Browse(Info floder)  -> xxx -> OK -> check “resources” and “Create top-level folder” -> Finish
     2个源文件都追加好之后。eclipse左边显演示样例如以下图：

                                                                                             

  

假设使用的是storm-0.8.1，以下这行代码会报错。下载0.8.2版本号就可以解决

import backtype.storm.task.IMetricsContext

假设以下这行报错。说明没有commons-collections.jar包。下载地址：http://commons.apache.org/proper/commons-collections/download_collections.cgi

import org.apache.commons.collections.buffer.CircularFifoBuffer;  

   4. JAR export
        File -> Export -> JAR -> JAR file -> 取消 “.classpath” ，“.project” 和 “<.settings” ->的勾 browse -> path/to/export/name.jar -> Finish (忽视 warnings)

可能会报错说PrintSampleStream和TwitterSampleSpout这两个类找不到，将这两个类的凝视取消掉就可以。

                                                       

     5. 运行刚才编译的文件

     # storm jar StormStarter.jar storm.starter.ExclamationTopology  

      假设出现类似以下的文字，说明执行成功！

      ...
     11367 [Thread-25] INFO   backtype.storm.daemon.task   - Emitting: class          storm.starter.ExclamationTopology$ExclamationBolt source: 2:3, stream: 1, id: {}, [golda!!!]
     ....

    

    除此之外，也能够下载我提供的一个WordCount測试程序： https://github.com/ZhangzheBJUT/hadoop/tree/master

參考：

http://blog.csdn.net/blue_jjw/article/details/926413

http://blog.csdn.net/thermosym/article/details/9254799

storm下载

http://pan.baidu.com/share/link?shareid=425002&uk=875281566

posted on 2017-06-06 09:36 mthoutai 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/mthoutai/p/6949896.html