hadoop
guohnu
这个作者很懒,什么都没留下…
展开
-
MapReduce NextGen
Yahoo二月份在博客上发表的一篇关于Hadoop MapReduce框架改进的文章,大概翻译了一下。 原帖地址:http://developer.yahoo.com/blogs/hadoop/posts/2011/02/mapreduce-nextgen/ ======================================== 重构后的框架架构如下图所示: ...2011-08-12 19:18:27 · 189 阅读 · 0 评论 -
Hadoop Yarn NodeManager源码分析①
从NodeManager.java开始分析。 NodeManager类完成的工作就是启动一系列的服务(Service),Service是具有状态的类,状态有 NOTINITED, INITED, STARTED, STOPPED; Service有一系列改变这些状态的方法,并且可以注册监听器监听自身状态的变化。 NodeManager本身继承...原创 2011-12-17 16:34:02 · 274 阅读 · 0 评论 -
Hadoop IPC源码分析(一)
Hadoop IPC源码分析(一) 类RPC RPC包含了一系列的静态类和静态方法。 使用PROTOCOL_ENGINES = new HashMap<Class,RpcEngine>(); 作为实现的接口—>RPCEngine的一个缓存 使用PROXY_ENGINES = new HashMap<Class,RpcEngine>(); ...2012-07-23 22:32:01 · 86 阅读 · 0 评论 -
MapReduce NextGen
n/ ======================================== 重构后的框架架构如下图所示: 重构MapReduce框架的基本的思想是将JobTracker的两个主要功能,资源管理和作业调度监控,分解为独立的模块。ResourceManager负责对应用(application)计算资源的分配,对于每一个应用,ApplicationMaster负责应用的调度和协作。一个应用可以是一个传统的MapReduce作业,也可以是又作业组成的DAG。Resource2011-08-12 19:18:27 · 134 阅读 · 0 评论 -
Hadoop Yarn NodeManager源码分析①
, STOPPED; Service有一系列改变这些状态的方法,并且可以注册监听器监听自身状态的变化。 NodeManager本身继承自Service,是一种CompositeService,也就是说NodeManager这个Service又由一些列的Service组成。同时NodeManager实现了监听器接口,可以监听自己的Service的状态变换情况。 组成NodeManager的Service有: DeletionService 用于删除特定用户特定文件夹下的文件原创 2011-12-17 16:34:02 · 97 阅读 · 0 评论 -
Hadoop IPC源码分析(一)
ine的一个缓存 使用PROXY_ENGINES = new HashMap<Class,RpcEngine>(); 作为实现的接口代理->PPCEngine的一个缓存 接口代理使用JDK的Proxy.getProxyClass获取对应接口的代理类。 默认的RpcEngine的实现为 WritableRpcEngine.class ; waitForProxy方法是在时间限制内周期的调用getProxy方法,而getProxy是从缓存中2012-07-23 22:32:01 · 71 阅读 · 0 评论