- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅Yarn目录文件介绍
转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt1、sbin目录下的1、distribute-exclude.sh这个脚本用来将exclude文件分发到各个Namenode上。2、hadoop-setup-conf.sh 1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。2、针对特定的配置文件增...
2012-12-28 16:45:00
489
yarn fairscheduler原理与配置
MAPREDUCE-3451, 把fairScheduler引入到2.0.2-alpha, 本文介绍一下hadoop 2.0.2-alpha的fairscheduler. 包括调度算法和配置方法.代码在org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair包下, 主要包括如下的类:各个类作用的简要描述:1...
2012-12-28 11:53:00
111
yarn目录结构
1.Hadoop2.0简述[1]与之前的稳定的hadoop-1.x相比，Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 HDFS:为了保证name服务器的规模水平，开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的，它们之间不需要相互协调。Datanode可以为所有Namenode存...
2012-12-28 11:45:00
731
YARN/MRv2异步处理编程模型介绍
一、前言YARN/MRv2在处理请求时采用了基于事件驱动机制的异步编程模型SEDA，如下图所示：事件通过Dispather中一个HandlerThread分发给该事件对应的EventHandlerService来处理。每种事件对应一种EventHandler。未被EventHandler处理的事件，会放在EventQueue中等待被处理。SEDA（Staged Event Dr...
2012-12-28 11:43:00
62
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人