实时计算框架Storm本地模式搭建

安装依赖

通过ubuntu自带的软件包管理器安装java环境。 安装Java：

$ sudo apt-get install openjdk-7-jdk

检查是否安装完成:

$ java -version

检查python版本:

$ python -V

安装ZooKeeper

为了避免每次获取超级权限重复输入sudo 临时进入超级用户:

$ sudo -s

使用ctrl+d退出

定位目录:

# cd /usr/local/src

从阿里的源下载:

# wget http://mirrors.aliyun.com/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

使用命令解压:

# tar -xzvf zookeeper-3.4.6.tar.gz

进入解压后的目录：

# cd zookeeper-3.4.6

从配置文件模板复制一份配置文件，这里无需修改：

# cp conf/zoo_sample.cfg conf/zoo.cfg

环境变量：

# export ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.6

环境变量：

# export PATH=$ZOOKEEPER_HOME/bin:$PATH

启动服务器:

# ./bin/zkServer.sh start

测试:

# ./bin/zkCli.sh -server 127.0.0.1:2181

安装Storm

定位目录:

# cd /usr/local/src

下载（从阿里的源下载0.9.2版本）:

# wget http://mirrors.aliyun.com/apache/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz
# tar -xzvf apache-storm-0.9.2-incubating.tar.gz
# cd ./apache-storm-0.9.2-incubating/

配置storm.yaml:

# vim ./conf/storm.yaml

(这里我使用vim，也可以使用如何文件编辑器，复制以下内容到文件，原先的内容全部注释）

storm.zookeeper.servers:
      - "localhost"
nimbus.host: "localhost"
storm.local.dir : "/var/storm"
ui.port : 8080
storm.messaging.transport: "backtype.storm.messaging.netty.Context" #--指定传输协议
storm.messaging.netty.server_worker_threads: 1   #--指定netty服务器工作线程数量
storm.messaging.netty.client_worker_threads: 1   #--指定netty客户端工作线程数量
storm.messaging.netty.buffer_size: 5242880    #--指定netty缓存大小
storm.messaging.netty.max_retries: 100   #--指定最大重试次数
storm.messaging.netty.max_wait_ms: 1000  #--指定最大等待时间（毫秒）
storm.messaging.netty.min_wait_ms: 100   #--指定最小等待时间（毫秒）

后台（通过命令后加&使进程后台执行，标准输出全部进入黑洞/dev/null）启动Storm服务：

# ./bin/storm nimbus >/dev/null 2>&1 &
# ./bin/storm supervisor>/dev/null 2>&1 &
# ./bin/storm ui >/dev/null 2>&1 &
# ./bin/storm logviewer > /dev/null 2>&1 &

访问ip:port即可进入Storm UI

-EOF-

文章来源：http://chih.me/Setting-up-a-Storm-Cluster.html