storm实战 A Real-life EXample

原创 2013年12月02日 09:35:39

1,install zeromq

期间可能出现:configure: error: cannot link with -luuid, install uuid-dev. 因此可以先安装

sudo apt-get install uuid*
sudo apt-get install libtool
wget http://download.zeromq.org/zeromq-2.2.0.tar.gz
tar zxf zeromq-2.2.0.tar.gz 
cd zeromq-2.2.0
./configure

2, install git

git-1.8.3.tar.gz
tar zxvf git-1.8.3.tar.gz
cd git-1.8.3
make && sudo make install

3,install jzmq

git clone git://github.com/nathanmarz/jzmq.git
./autogen.sh
./configure
make && sudo make install

4, install storm

4.1,download zip unzip

wget http://cloud.github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
unzip storm-0.8.1.zip
cd storm-0.8.1

4.2,配置Storm变量

vim /etc/profile
   #    storm 
export STORM_HOME=/home/hadoop/bigdata/storm-0.8.1/
export PATH=$PATH:$STORM_HOME/bin
. /etc/profile

4.3,storm的配置:storm.yaml

关于这个配置文件实在的有点蛋疼,居然空格都包含在内,如果你在":"号后面没有空格那就 蛋疼了,不断折腾之后,这个勉强可以配置好了。

storm.zookeeper.servers: 
     - "127.0.0.1"
storm.zookeeper.port: 2182
nimbus.host: "127.0.0.1"
storm.local.dir: "/home/hadoop/bigdata/storm-0.8.1/data/stor_mdir"
supervisor.slots.ports:
  - 6700
  - 6701
  - 6702
  - 6703

ui.port: 10010

5,storm-starter

svn co https://github.com/nathanmarz/storm-starter/trunk storm-starter
cd storm-starter
mvn -f m2-pom.xml package
cp m2-pom.xml pom.xml

5.1,需要对pom文件的依赖做相应修改,注释掉:

<!--
<repository>
    <id>twitter4j</id>
    <url>http://twitter4j.org/maven2</url>
</repository>
-->

并将

<dependency>
    <groupId>org.twitter4j</groupId>
    <artifactId>twitter4j-core</artifactId>
    <version>2.2.6-SNAPSHOT</version>
</dependency>
<dependency>
    <groupId>org.twitter4j</groupId>
    <artifactId>twitter4j-stream</artifactId>
    <version>2.2.6-SNAPSHOT</version>
</dependency>

改为

<dependency>
    <groupId>org.twitter4j</groupId>
    <artifactId>twitter4j-core</artifactId>
    <version>2.2.6</version>
</dependency>
<dependency>
    <groupId>org.twitter4j</groupId>
    <artifactId>twitter4j-stream</artifactId>
    <version>2.2.6</version>
</dependency>

也可以参考参考网上的,改为

<dependency>
    <groupId>org.twitter4j</groupId>
    <artifactId>twitter4j-core</artifactId>
    <version>[2.2,)</version>
</dependency>
<dependency>
    <groupId>org.twitter4j</groupId>
    <artifactId>twitter4j-stream</artifactId>
    <version>[2.2,)</version>
</dependency>

原因是:作者使用的是twitter的库,注释掉后不存在2.2.6.snapshot版本的相应依赖。

5.2,编译storm-starter:

mvn -f m2-pom.xml package

如果是生成eclipse工程:

cp m2-pom.xml pom.xml
mvn eclipse:eclipse

6,NodeJs+express环境

wget http://nodejs.org/dist/v0.10.22/node-v0.10.22-linux-x64.tar.gz
tar zxvf node-v0.10.22-linux-x64.tar.gz
cd node-v0.10.22/
export NODE_HOME=/usr/local/node-v0.10.22-linux-x64
export PATH=$PATH:$NODE_HOME/bin
export NODE_PATH=$NODE_HOME/lib/node_modules
. /etc/profile(source )
#express
npm install -g express(sudo su - 必须root??)

7,A Real-life Example install

7.1 install Redis

./redis-server ../redis.conf

7.2 打包

svn co https://github.com/storm-book/examples-ch06-real-life-app/trunk 
cd trunk/
mvn package

7.3 启动应用

java -jar target/storm-analytics-0.0.1-jar-with-dependencies.jar 
node webapp/app.js

7.4 测试功能

【Storm入门指南】附录C 安装真实示例

标签: storm 2015-03-18 22:48 35人阅读 评论(0) 收藏 举报 分类: java(21) 目录(?)[+] ...
  • xiaoshunzi111
  • xiaoshunzi111
  • 2016年01月19日 17:43
  • 336

[译]【Storm入门指南】附录C 安装真实示例

首先,从GitHub仓库克隆该示例: 1 > git clone git://github.com/storm-book/examples-ch06-real-lif...
  • ABC374744988
  • ABC374744988
  • 2015年03月18日 22:48
  • 310

storm入门--storm的第一个示例

本文介绍在eclipse下开发storm的第一个示例。本文的示例基于storm提供的example中的ExclamationTopology.文使用的storm版本为storm-1.0.2。本文将在e...
  • cjf_wei
  • cjf_wei
  • 2017年05月21日 10:39
  • 1272

storm-example笔记

storm-example
  • u012432611
  • u012432611
  • 2015年08月25日 15:02
  • 973

storm实战 A Real-life EXample

1,install zeromq 期间可能出现:configure: error: cannot link with -luuid, install uuid-dev. 因此可以先安装 sudo a...
  • luyee2010
  • luyee2010
  • 2013年12月02日 09:35
  • 3096

Storm样例代码

Strom样例代码
  • wuxintdrh
  • wuxintdrh
  • 2017年03月06日 06:52
  • 321

storm自带例子详解 (六)——ReachTopology

/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agr...
  • NB_vol_1
  • NB_vol_1
  • 2015年06月01日 11:00
  • 2401

《Storm企业级应用:实战、运维和调优》

《Storm企业级应用:实战、运维和调优》 全面介绍Storm的架构、原理、核心概念、操作和数据流模型;6个不同领域的经典案例完整呈现大型数据应用系统的设计;系统总结了Storm常见运维故障...
  • chengying332
  • chengying332
  • 2015年06月16日 09:39
  • 1442

Storm-源码分析汇总

Storm Features Storm 简介 Storm Topology的并发度 Storm - Guaranteeing message processing Storm...
  • xiaolang85
  • xiaolang85
  • 2014年08月06日 17:24
  • 10106

Storm的体系结构介绍以及Storm入门案例

# Storm的体系结构 # 学习前言 对java有兴趣的朋友可以加上面说的553175249这个群哦,一起学习,共同进步 . # Storm介绍 Storm...
  • qq_26418435
  • qq_26418435
  • 2016年06月07日 14:57
  • 890
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:storm实战 A Real-life EXample
举报原因:
原因补充:

(最多只允许输入30个字)