apache-storm安装使用

1.下载Storm发布版本,本文采用版本为0.9.6。

 链接为:http://storm.apache.org/downloads.html

2.修改Storm的配置文件conf/storm.yaml (注意yaml格式的要求,空格tab,:和-前后都有空格)

########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
 - "localhost"
storm.zookeeper.port : 2181
nimbus.host : localhost
storm.local.dir : "/home/alice/javasoft/apache-storm-0.9.6/tmp"  
supervisor.slots.ports:  
 - 6700  
 - 6701  
 - 6702 

storm.local.dir 中的tmp文件夹不存在则自己创建。
3.设置环境变量

$vi /etc/profile添加如下两行

#set storm environment
export STORM_HOME==/home/alice/javasoft/apache-storm-0.9.6   ##路径时storm的根目录
export PATH=$STORM_HOME/bin:$PATH

4.测试用例

storm-0.9.6已经包含了测试代码,在/apache-storm-0.9.6/example下storm-starter。
如果你下载的版本不存在测试代码,那么需要从github上获取storm-starter测试代码。命令如下:

git clone https://github.com/nathanmarz/storm-starter.git
cd storm-starter/
mvn -f m2-pom.xml package(需要安装maven) 


5.启动zookeeper

 6.启动storm

进入storm安装目录下,运行如下命令:

$storm nimbus

$storm supervisor

$storm ui

7.提交Topology(storm-starter目录下)

进入/apache-storm-0.9.6/examples/storm-starter/target目录下,运行命令:

/apache-storm-0.9.6/examples/storm-starter/target$../../../bin/storm jar storm-starter-0.9.6.jar storm.starter.WordCountTopology wordcountTop

此时就可以通过Web界面查看了http://localhost:8080/


storm list 查看当前运行的Topology

可在storm目录下的logs下查看日志文件,包含 nimbus.logsupervisor.log ,各个worker.log.


Python网络爬虫与推荐算法新闻推荐平台:网络爬虫:通过Python实现新浪新闻的爬取,可爬取新闻页面上的标题、文本、图片、视频链接(保留排版) 推荐算法:权重衰减+标签推荐+区域推荐+热点推荐.zip项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传,可轻松复刻,拿到资料包后可轻松复现出一样的项目,本人系统开发经验充足(全领域),有任何使用问题欢迎随时与我联系,我会及时为您解惑,提供帮助。 【资源内容】:包含完整源码+工程文件+说明(如有)等。答辩评审平均分达到96分,放心下载使用!可轻松复现,设计报告也可借鉴此项目,该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的。 【提供帮助】:有任何使用问题欢迎随时与我联系,我会及时解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件(如有),项目工程可直接复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JimCarter

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值