Storm
文章平均质量分 61
cuihaolong
这个作者很懒,什么都没留下…
展开
-
Eclipse运行storm-starter
官网下载的Storm安装文件中自带storm-starter源码,所在路径为storm/examples/storm-starter,可以在该目录下用maven打包源代码并提交到storm上运行,也可以使用eclipse编译运行。1.新建项目,导入依赖库在eclipse中新建一个java项目,例如storm_starter,点击下一步,然后在Libraries中选择add External原创 2016-09-14 13:45:02 · 2661 阅读 · 0 评论 -
离线环境下使用Maven打包Storm程序
Maven打包程序会根据程序提供的pom.xml文件下载很多依赖包,一旦这些依赖包在本地存在以后,再打包程序就无需重复下载,因此要想在离线环境中使用Maven打包Storm程序,只需要从已经下载好依赖包主机,将其中的~/.m2文件夹复制到离线环境中,在离线环境的$MAVEN_HOME/conf修改settings.xml文件,指定本地仓库为复制来的.m2文件即可,指定本地仓库的配置如下:/usr/原创 2016-09-27 20:26:52 · 4914 阅读 · 0 评论 -
获取Storm集群上TridentWordCount计算结果的方法
由于Storm集群上的拓扑是持续计算的,不像Hadoop会在HDFS上保存计算结果,因为对于提交到集群上的拓扑而言,需要用户在写程序的时候指定计算结果的输出位置,比如数据库或者本地文件,在运行TridentWordCount的时候,会设置一个DRPCStream来查询Trident的状态,从而可以查询某些单词的统计结果,由于storm-starter中的例子只给了在本地模式下使用localDRPC原创 2016-09-27 20:38:27 · 2444 阅读 · 0 评论 -
Storm上的Nimbus、Supervisor以及Worker之间的关系
1.Storm中各节点介绍1.1 主控节点和工作节点Storm将每个节点分为主控节点和工作节点两种,其中主控节点只有一个,工作节点可以有多个。1.2 Nimbus主控节点运行Nimbus守护进程,类似于Hadoop中的jobtracker,负责在集群中分发代码,对节点分配任务,并监视主机故障。1.3 Supervisor每个工作节点运行Supervisor守护进程,负责监听原创 2016-09-24 19:47:26 · 17407 阅读 · 0 评论 -
CentOS 6.3配置Storm1.0.2
本文环境如下: 操作系统:CentOS 6.3 64位 Hive版本:2.0.0 JDK版本:1.8.0_71Hadoop版本:2.6.4原创 2016-09-13 10:52:36 · 2544 阅读 · 2 评论