hadoop lzo

1.安装LZO sudo apt-get install liblzo2-dev 或者下载lzo2[http://www.oberhumer.com/opensource/lzo/download/]. wget [http://www.oberhumer.com/opensour...

2013-10-28 18:34:04

阅读数 52

评论数 0

YARN/MRv2 Node Manager深入剖析—节点健康状况检测

概述 节点健康状况检测是YARN为每个NodeManager提供的机制,通过该机制,NodeManager可通过心跳机制将节点健康状况实时汇报给ResourceManager,而ResourceManager则会根据每个NodeManager的健康状况适当调整分配的任务数目。当NodeManag...

2013-10-23 15:13:49

阅读数 909

评论数 0

YARN/MRv2 Node Manager深入剖析—节点健康状况检测

概述 节点健康状况检测是YARN为每个NodeManager提供的机制,通过该机制,NodeManager可通过心跳机制将节点健康状况实时汇报给ResourceManager,而ResourceManager则会根据每个NodeManager的健康状况适当调整分配的任务数目。当NodeManag...

2013-10-23 15:13:00

阅读数 28

评论数 0

YARN/MRv2 Resource Manager深入剖析—AM管理

ApplictionMaster管理部分主要由三个服务构成,分别是AMLivelinessMonitor、ApplicationMasterLauncher和ApplicationMasterService,它们共同管理ApplicationMaster的生存周期,接下来我们依次介绍这三个服务。 ...

2013-10-23 15:12:53

阅读数 531

评论数 0

YARN/MRv2 Resource Manager深入剖析—服务与事件处理器

ResourceManager中的对象均被封装成服务和事件处理器,其中,封装成服务是为了统一管理,而所有事件处理器处理来自中央总调度器分配的事件,总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器,如此循环,构成了ResourceManager的整体架构。 (1)RM中的服务 ...

2013-10-23 15:09:45

阅读数 508

评论数 0

YARN/MRv2 Resource Manager深入剖析—服务与事件处理器

ResourceManager中的对象均被封装成服务和事件处理器,其中,封装成服务是为了统一管理,而所有事件处理器处理来自中央总调度器分配的事件,总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器,如此循环,构成了ResourceManager的整体架构。 (1)RM中的服务 ...

2013-10-23 15:09:00

阅读数 38

评论数 0

YARN/MRv2 Resource Manager深入剖析—用户交互相关模块分析

YARN分别针对普通用户,管理员和Web提供了三种对外服务,分别对应ClientRMService、AdminService和WebApp,本节将对这三个服务分别进行详细介绍。 1.     ClientRMService ClientRMService是为普通用户提供的服务,它会处理来自客户...

2013-10-23 15:08:45

阅读数 555

评论数 0

YARN/MRv2 Resource Manager深入剖析—用户交互相关模块分析

YARN分别针对普通用户,管理员和Web提供了三种对外服务,分别对应ClientRMService、AdminService和WebApp,本节将对这三个服务分别进行详细介绍。 1. ClientRMService ClientRMService是为普通用户提供的服务,它会处理来自客户端各种R...

2013-10-23 15:08:00

阅读数 30

评论数 0

YARN/MRv2 Resource Manager深入剖析—RM总体架构

在YARN中,ResourceManager负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationManager)。 ResourceManager主要由以下几个部分组成...

2013-10-23 15:07:51

阅读数 529

评论数 0

YARN/MRv2 Resource Manager深入剖析—RM总体架构

在YARN中,ResourceManager负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationManager)。 ResourceManager主要由以下几个部分组成...

2013-10-23 15:07:00

阅读数 13

评论数 0

YARN/MRv2 RPC框架深入剖析—引入Protocal Buffer的好处

Hadoop2.0中已经将Protocol buffer(以面简称PB ,http://code.google.com/p/protobuf/ )作为默认的序列化/反序列化框架,原来的自己实现的基于Writable的方式已经被淘汰了。来自Cloudera的Aaron T. Myers在邮件中这样说...

2013-10-23 15:06:59

阅读数 605

评论数 0

YARN/MRv2 RPC框架深入剖析—引入Protocal Buffer的好处

Hadoop2.0中已经将Protocol buffer(以面简称PB ,http://code.google.com/p/protobuf/ )作为默认的序列化/反序列化框架,原来的自己实现的基于Writable的方式已经被淘汰了。来自Cloudera的Aaron T. Myers在邮件中这样说...

2013-10-23 15:06:00

阅读数 12

评论数 0

YARN/MRv2 MRAppMaster深入剖析—作业恢复

在MRAppMaster中,记录日志是由服务JobHistoryEventHandler完成的,而作业恢复是由服务RecoveryService完成的。 同MRv1一样,MRv2也会对一些关键的事件记录日志,这主要有两个作用:(1)方便用户查看历史作业运行信息 (2)作业因故障重新启动后,可根据...

2013-10-23 15:03:05

阅读数 727

评论数 0

YARN/MRv2 MRAppMaster深入剖析—作业恢复

在MRAppMaster中,记录日志是由服务JobHistoryEventHandler完成的,而作业恢复是由服务RecoveryService完成的。 同MRv1一样,MRv2也会对一些关键的事件记录日志,这主要有两个作用:(1)方便用户查看历史作业运行信息 (2)作业因故障重新启动后,可根据...

2013-10-23 15:03:00

阅读数 19

评论数 0

YARN/MRv2 MRAppMaster深入剖析—推测执行机制

1. 背景 推测执行(Speculative Execution)是指在分布式集群环境下,因为程序BUG,负载不均衡或者资源分布不均等原因,造成同一个job的多个task运行速度不一致,有的task运行速度明显慢于其他task(比如:一个job的某个task进度只有10%,而其他所有task已经...

2013-10-23 15:01:49

阅读数 675

评论数 0

YARN/MRv2 MRAppMaster深入剖析—推测执行机制

1. 背景 推测执行(Speculative Execution)是指在分布式集群环境下,因为程序BUG,负载不均衡或者资源分布不均等原因,造成同一个job的多个task运行速度不一致,有的task运行速度明显慢于其他task(比如:一个job的某个task进度只有10%,而其他所有task已经...

2013-10-23 15:01:00

阅读数 17

评论数 0

YARN/MRv2 MRAppMaster深入剖析—ContainerLauncher分析

ContainerLauncher负责与NodeManager通信,以启动一个container。在YARN中,运行Task所需的全部信息被封装到Container中,包括所需资源、依赖的外部文件、jar包、运行时环境变量、运行命令等。ContainerLauncher通过ContainerMan...

2013-10-23 15:00:40

阅读数 540

评论数 0

YARN/MRv2 MRAppMaster深入剖析—ContainerLauncher分析

ContainerLauncher负责与NodeManager通信,以启动一个container。在YARN中,运行Task所需的全部信息被封装到Container中,包括所需资源、依赖的外部文件、jar包、运行时环境变量、运行命令等。ContainerLauncher通过ContainerMan...

2013-10-23 15:00:00

阅读数 8

评论数 0

YARN/MRv2 MRAppMaster深入剖析—ContainerAllocator分析

1. ContainerAllocator概述 ContainerAllocator负责与ResourceManager通信,为作业申请资源。作业的每个任务资源需求可描述为四元组,分别表示作业优先级、期望资源所在的host,资源量(当前仅支持内存),container数目,比如: //优先...

2013-10-23 14:57:45

阅读数 707

评论数 0

YARN/MRv2 MRAppMaster深入剖析—ContainerAllocator分析

1. ContainerAllocator概述 ContainerAllocator负责与ResourceManager通信,为作业申请资源。作业的每个任务资源需求可描述为四元组<Priority, hostname,capability,containers&am...

2013-10-23 14:57:00

阅读数 19

评论数 0

提示
确定要删除当前文章?
取消 删除