storm
文章平均质量分 76
炼气散人
等儿子高考后,或许会回来
展开
-
storm 开发系列一 第一个程序
本文将在本地开发环境创建一个storm程序,力求简单。首先用mvn创建一个简单的工程hello_stormmvn archetype:generate -DgroupId=org.csfreebird -DartifactId=hello_storm -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false编辑原创 2015-10-13 22:38:28 · 6544 阅读 · 1 评论 -
storm 开发环境搭建
文档资料storm提供了local mode(本地开发环境),便于调试,现在试一下。参考官方文档没有那么复杂,本地开发调试只需要使用maven依赖storm库,就能够在本地进程中模拟运行你的storm topology程序。从github的例子开始获取github上的官方例子代码git clone git://github.com/apache/storm.git && cd storm/然后编译原创 2015-10-13 18:24:02 · 4774 阅读 · 0 评论 -
storm 开发系列三 Clojue编写程序读取kafka数据并写入到hdfs
要说storm程序最常用的数据源,自然是kafka,storm通常用来进行各种实时统计,但是也会顺带将从kafka读取的数据顺带写入hdfs,根据我的经验,这几乎是必须的功能。所以本次程序就是实现读取kafka数据,然后写入hdfs。但是最大的不同是,这是clojure版本,而不是java版本。下面分别说明project配置project.clj文件包含了依赖项:(defproject kafka原创 2015-10-30 22:49:44 · 3041 阅读 · 1 评论 -
storm 开发系列二 Clojue版本
对于第一个简单的topology,现在用clojure实现一遍。正好可以对比一下。创建工程用lein app模板创建工程demo$ lein new app hello_storm_cljGenerating a project called hello_storm_clj based on the 'app' template.注意,app是lein提供的模板名称,以下是所有模板Subtask原创 2015-10-17 19:37:29 · 2473 阅读 · 0 评论 -
storm社区相关网站和资料
storm官方网站站点地址:http://storm.apache.org/文档列表:http://storm.apache.org/doc-index.htmlstorm clojure相关clojure dsl用clojure测试topologystorm社区站点地址:http://storm.apache.org/community.html开发者邮箱组:dev@storm.apache.o原创 2015-10-18 16:22:37 · 2668 阅读 · 0 评论 -
storm 集群部署
前提条件安装了python 2.6.6和java 8创建帐号这个帐号是storm服务使用,将来也会成为HDFS的用户帐号之一。useradd dean创建公钥su - deanssh-keygen -t rsa -P '' 下载并解压wget https://github.com/apache/storm/archive/v0.10.0-beta1.tar.gztar zxvf v0.10.原创 2015-09-29 11:27:47 · 2180 阅读 · 3 评论 -
storm集群使用经验
本文会不断完善,今天开个头slot数量配置slot就是worker, 就是worker machine上的可运行的进程数,每个进程监听一个端口号。整个集群的slot的总数 = 所有supervisor上的监听端口port的数目之和建议是CPU总核数 - 1 。在24核服务器上,port数目应该最大是23才对。下面是20个的配置如下:supervisor.slots.ports: -原创 2015-09-30 10:28:20 · 2342 阅读 · 3 评论 -
storm 远程提交任务
远程提交任务还是十分必要的,如果有一个storm集群用于调试(有点奢侈,但是必要),可以从本地开发机器上直接提交topology. 在生产环境下,通常我们通过Jenkins编译代码,然后提交到storm集群,这也是远程提交的一种方式。这样,开发团队不会直接和storm线上环境打交道,保证了集群的安全性。基本原理是,通过运行本地的storm.jar和远程storm集群的nimbus通信,将任务(to原创 2015-11-02 18:09:48 · 8278 阅读 · 2 评论 -
Storm 术语与概念
storm里面有很多术语,这些概念需要清晰的理解,下面是个人的一点心得。2 topologystorm jobtopology一直运行,不会终止由spout和bolt组成DAG3 stream一堆tuple的并发分布式处理流一个topology中可以包含若干个streams4 component包含spout 或者 bolt5 spoutstream的源头reliable spout可以在处理失败原创 2015-10-13 18:28:48 · 2373 阅读 · 0 评论