Storm&S4
DerekJiang
https://www.linkedin.com/in/nanj1ang
展开
-
S4 - 分布式流计算平台
最近一直在研究S4,所以就想要写点什么,不过发现已经有人写了,于是我就偷个懒,直接转贴了:)本文转自:http://www.cofftech.com/thread-4429-1-1.html------------------------------------------------s4的论文: S4: Distributed Stream Computing Platfor转载 2012-01-15 22:20:48 · 2635 阅读 · 0 评论 -
[翻译][Trident] Storm Trident 教程
英文原址:https://github.com/nathanmarz/storm/wiki/Trident-tutorial----------------Trident是在storm基础上,一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时,也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批量处理工具很了原创 2013-06-24 16:00:45 · 32600 阅读 · 11 评论 -
【Storm总结-2】关于Storm 中Topology的并发度的理解
主要思想来源于storm的项目页面: https://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology其中加入了一些个人的理解,所以就把文章mark成原创了,实际上大部分还是人家的东西。其实翻译这个文章的人也挺多,我看了几个,总是感觉有点绕,所以干脆自己总结一下。目标是简单明了的原创 2013-06-06 17:05:56 · 17901 阅读 · 2 评论 -
【Storm总结-3】Storm如何保证消息不丢失 (Guaranteeing-message-processing)
转自: http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/---------------------------------本文翻译自: https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processingstorm转载 2013-06-07 14:43:32 · 8145 阅读 · 2 评论 -
【Storm总结-6】Twitter Storm: DRPC简介
转自:http://xumingming.sinaapp.com/756/twitter-storm-drpc/-------------------------Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入,而把这些函数调用的返回值作为topology的输出流。转载 2013-06-18 18:51:14 · 7333 阅读 · 0 评论 -
【Storm总结-5】Twitter Storm: Transactional Topolgoy简介
转自: http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/----------------------------概述Storm通过保证每个tuple至少被处理一次来提供可靠的数据处理。关于这一点最常被问到的问题就是“既然tuple可能会被重写发射(replay),转载 2013-06-07 15:22:44 · 2737 阅读 · 1 评论 -
【Storm总结-4】Storm 中acker的工作流程
转自http://xumingming.sinaapp.com/410/twitter-storm-code-analysis-acker-merchanism/---------------------------概述我们知道storm一个很重要的特性是它能够保证你发出的每条消息都会被完整处理, 完整处理的意思是指:一个tuple被完全处理的意思是: 这个转载 2013-06-07 15:12:17 · 6975 阅读 · 0 评论 -
【Storm总结-1】Storm 简介 -- 转一个我认为总结的比较好的介绍
第一次接触Storm还是在1年半以前了,当时在做S4,找Storm来进行对比,慢慢的对storm也有了越来越多的了解,到后来在项目中也用到了storm。随着了解的深入和使用的增加,一直想写一系列关于storm的文章,结果发现很多勤奋努力的同学们已经写了很多,所以慢慢转一个系列过来,中间也许夹杂一些个人的理解吧。-----------------转自: http://www.cnbl转载 2013-06-06 16:10:16 · 6660 阅读 · 0 评论 -
Yahoo! s4和Twitter storm的粗略比较
转自:http://www.blogjava.net/killme2008/archive/2011/11/10/363238.html-----------------------------------------------------Yahoo! s4和Twitter storm的粗略比较Items\ProjectsYahoo! s4Twitte转载 2012-01-16 09:54:27 · 2440 阅读 · 0 评论 -
[翻译][Trident] Storm Trident state 原理
原文地址:https://github.com/nathanmarz/storm/wiki/Trident-state-----------------------------Trident在读写有状态的数据源方面是有着一流的抽象封装的。状态即可以保留在topology的内部,比如说内存和HDFS,也可以放到外部存储当中,比如说Memcached或者Cassandra。这些都是使用原创 2013-08-16 12:53:25 · 12342 阅读 · 5 评论