hadoop
文章平均质量分 75
iteye_9550
这个作者很懒,什么都没留下…
展开
-
大致了解下Hadoop RPC机制
[size=medium] RPC是Hadoop的基础组件,提供分布式环境下的对象调用功能。之前用了两天时间分析与测试Hadoop RPC,目的是想弄清楚它对集群协作的影响。本来想等深入研究后再总结,但怕过完十一就忘的差不多了,那就今天写下来。 这节描述三个部分: 1. Hadoop RPC 介绍 2. RPC server端的实体模型 3. 用户对RPC可以有哪些影响 ...2011-09-29 16:41:18 · 213 阅读 · 0 评论 -
对实时分析与离线分析的思考
[size=medium] 数据的价值是有时效性的,越早分析越能得到更快的问题反馈或响应。Hadoop的设计初衷是存储与分析离线大数据,我认为它的缺点就是不能及时地利用数据中所蕴含的深层价值。 在做深入分析之前,我想从门外汉的角度来说说我自己理解的实时分析是什么样子的。它的目标很明确:尽快地从数据中挖掘出有用的内容来。这牵扯到把计算移动到哪个地方去的问题。数据源本地?数据传...2012-02-13 16:06:42 · 1485 阅读 · 0 评论 -
对实时分析与离线分析的思考(二)
[size=medium] 接上一篇blog[url=http://langyu.iteye.com/blog/1404577]对实时分析与离线分析的思考[/url] 昨天看了S4与Storm的设计,再结合之前对Microsoft的Dryad的了解,感觉有些共性是需要明确的。 在MapReduce这种“分裂-合并”模型出世之前,我们都采用“一层计算...2012-02-15 14:20:13 · 372 阅读 · 0 评论 -
Hadoop离Online系统有多远
[size=medium] 长久以来,说起Hadoop,大家只会想到它能承担offline系统的分析工作。的确,它在这个方面做的是很优秀了。如果有人说:Hadoop也可以担当online系统的一部分呀!我们可能就会替这个人悲哀了,是吧?为了更好地认识Hadoop的“所为”,我想暂时抛开技术的细枝末节,逐一梳理下Hadoop的各个组件,试着分析下Hadoop离担当online系统之大任还差...原创 2012-05-29 18:43:01 · 177 阅读 · 0 评论