storm
小狼躲藏
专注于数据仓库、治理、数据分析领域
展开
-
Twitter Storm源代码分析之TimeCacheMap
转载自:http://xumingming.sinaapp.com/395/twitter-storm-code-analysis-timecahcemap/TimeCacheMap是Twitter Storm里面一个类, Storm使用它来保存那些最近活跃的对象,并且可以自动删除那些已经过期的对象。这个类设计的很巧妙, 我们来看一下。TimeCacheMap里面的转载 2014-03-14 15:09:14 · 656 阅读 · 0 评论 -
Storm 0.9 的新特性
Storm0.9.0发布Posted on 2013/12/11 我们很高兴宣布Storm 0.9.0已经成功发布,你可以从the downloads page下载. 本次发布对茁壮成长的Storm来说是一次巨大的进步。 我们追加了一些新特性,你会在下面看到详细的介绍, 此外这次发布的另一个着重点是修复了大量跟稳定性相关的 bug. 虽然很多用户已经在自己的环境中把0.9.x版本的Storm成功运转载 2014-05-29 15:38:42 · 777 阅读 · 0 评论 -
kafka0.8 -storm 0.9 pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0转载 2014-05-29 15:55:30 · 1033 阅读 · 0 评论 -
Storm系列之——基本概念
介绍文章内写太多基本原理性东西,反而容易让人晕,所以在本篇中,只是点出基本概念模型,同时share一些基本资料给能力强的同学去研究。转载请注明:转自http://blog.csdn.net/xeseo/article/details/17674775有关Storm的一些信息片Storm是由twitter在2011开源出来的产品,现在贡献给了Apache。1. Storm转载 2014-05-29 09:18:53 · 809 阅读 · 0 评论 -
storm的ack和fail
为了保证数据能正确的被处理, 对于spout产生的每一个tuple, storm都会进行跟踪, 这里面涉及到ack/fail的处理, 如果一个tuple处理成功, 会调用spout的ack方法, 如果失败, 会调用fail方法. 而在处理tuple的每一个bolt都会通过OutputCollector来告知storm, 当前bolt处理是否成功. 为了了解OutputCollector的ack/f转载 2014-06-05 18:17:07 · 803 阅读 · 0 评论 -
Twitter Storm 可靠消息处理
可靠消息处理Storm保证从spout发射出来的每个消息都被完全处理。该文章描述storm如何实现消息可靠处理,从storm的可靠性特性获得好处,用户需要做哪些工作。消息被完全处理是什么意思?从spout发射出来的元组能触发创建数千基于它的新元组。考虑一下,例如,单词统计拓扑:TopologyBuilder builder = new TopologyBuilder(); buil转载 2014-06-05 15:14:01 · 558 阅读 · 0 评论 -
实时计算storm流程架构总结
hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的流式计算中,被广泛用来进行实时日志处理、实时统计、实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数据库中如HBase,便于后续的查询。 面对的大批量的数据的实时计算,storm实现了一个可扩展的、低延迟、可靠性和容错的分布式计算平台。 1、对象介绍转载 2014-06-05 14:42:32 · 721 阅读 · 0 评论 -
Storm 配置:设置worker进程内存大小
Storm中真正干活的是各个worker,而worker由supervisor负责启动。在topology启动过程中我们会看到如下的启动日志:转载 2014-06-05 14:35:45 · 2163 阅读 · 0 评论 -
初试Twitter Storm之常见问题
错误1:发布topologies到远程集群时,出现Nimbus host is not set异常。异常内容如下所示:[root@xop-dev-a bin]# ./storm jar /home/clx/storm-starter.jar storm.starter.WordCountTopology wordcountRunning: export STORM_JAR=/home/cl转载 2014-06-05 15:19:10 · 597 阅读 · 0 评论 -
storm集群安装
http://www.cnblogs.com/juefan/archive/2013/03/07/2948175.html转载 2014-05-12 16:40:31 · 448 阅读 · 0 评论 -
storm -0.9.1 pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0原创 2014-05-08 17:25:22 · 1142 阅读 · 0 评论 -
storm 0.9 的新特性
Storm0.9.0发布通知中文翻译版(2013/12/10 by 富士通邵贤军 有错误一定告诉我 shaoxianjun@hotmail.com^_^) 我们很高兴宣布Storm 0.9.0已经成功发布,你可以从the downloads page下载. 本次发布对茁壮成长的Storm来说是一次巨大的进步。 我们追加了一些新特性,你会在下面看到详细的介绍, 此外这次发布的另一个着重点转载 2014-06-03 16:16:41 · 555 阅读 · 0 评论