![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
source analyse
江山疯宇晴
这个作者很懒,什么都没留下…
展开
-
HadoopSourceAnalyse---ResourceMananger-Request Handle
Overview在hadoop中有几大类资源要管理,为管理这些资源,hadoop定义了自己的,通信的协议, 下表是通用的请求格式hrpc versionService classAuthMethodSerialize type(0)原创 2013-04-26 14:11:27 · 764 阅读 · 0 评论 -
HDFS ---- Services startup
OverviewHDFS内部把各种功能通过各种服务的方式向外部提供。 在启动的时候,HDFS主要启动以下一些服务:HTTPServer, 用来动态查看当前系统状态;JVMPauseMonitor, 用来记录当前运行的JVM是否曾经暂停过;NameNodeResourceChecker, 定期检查当前系统可用的本地目录的可用空间;BlockManager, 管理系统中所有与Block相关原创 2013-10-22 21:59:35 · 731 阅读 · 0 评论 -
HDFS---Namenode
Overview Namenode 是HDFS中负责namespace管理的节点,Namenode 保存了当前集群中所存储的的所有的文件的元数据信息,namenode同时与集群中其它的节点通信,以保持元数据与系统中的文件的一致性,同时也和client通信,以响应client对文件的需要。NameNode中主要有两个大类来处理这些需求,FSNamesystem ---- 是一个门原创 2013-07-23 13:27:24 · 705 阅读 · 0 评论 -
HadoopSourceAnalyse --- Mapreduce ApplicationMaster init&startup
OverviewApplicationMaster 是运MapReduce 任务的中间核心组组件,主要负责向ResourceManager请求Container来运行任务,并监视任务的执行:图 1-1上图展示了,ApplicationMaster 在初始化的时候,做了哪 些事情, 当一个新的任务提交的时候,ApplicationMaster会依次启动下列的Service原创 2013-05-13 11:25:58 · 1100 阅读 · 0 评论 -
HadoopSourceAnalyse --- Mapreduce Job init&submit
OverviewHadoop 的任务是通过Job对像提交到系统处理的,所以Job对像带有一切运行任务所需要的信息。下图展示了,Job运行过程所经历的所有阶段:图 1-1在配置 完Job对像之后,Job会首初始化一个Cluster对像,用来保存Cluster相关的信息,包括用来与ResourceManager通信的客户端:图 1-2原创 2013-05-09 16:19:29 · 1177 阅读 · 0 评论 -
HadoopSourceAnalyse --- Mapreduce ApplicationMaster TaskAttempt FSM
OverviewTaskAttempt 对像将是我们的task最后真正执行的地方,前面的所有的工作都是为了让我们的Attempt服务, 在Attempt被创建出来之后,Attemp开始等待SChedule 或ReSchedule 事件, 该事件将由Taskimpl对像触发。图 1-1T_SCHEDULE AND T_RESCHEDULE Handle当Attempt收到原创 2013-05-22 13:43:03 · 833 阅读 · 0 评论 -
HadoopSourceAnalyse --- Nodemanager Container FSM
overview上图中还有一个状态变换,从killing 到 Exited_with_failure,这个变换由事件:CONTAINER_EXITED_WITH_FAILURE 触发,执行:ExitedWithFailureTransition;INIT_CONTAINER And RESOURCE_LOCALIZED HandleContainer 收到该事件通知后,会首先偿试原创 2013-05-07 17:57:52 · 710 阅读 · 0 评论 -
HadoopSourceAnalyse --- Nodemanager Application FSM
overviewINIT_APPLICATION Handle收到 该 事件通知,Application 保存当前的用户的ACL信息,并通知logHandler,记录用户信息,App进入INITING状态: app.applicationACLs = initEvent.getApplicationACLs(); app.aclsManager.addAppli原创 2013-05-08 13:45:40 · 553 阅读 · 0 评论 -
HadoopSourceAnalyse --- NodeManager -- initiate
OverviewNodeManager 是hadoop cluster的server中,负责管理,执行任务相关的资源,主要通过ResouceManager和ApplicationsManager通信,通过ContainerManager与ApplicationMasterService 通信,InitiateServicesDeletionService原创 2013-05-06 14:52:07 · 2022 阅读 · 0 评论 -
HadoopSourceAnalyse --- Mapreduce ApplicationMaster Job FSM
Overview图 1-1JOB_INIT HANDLE当Job收到JOB_INIT事件之后,Job开始初始自己:图 2-1首先,Job要setup相应配置信息,包括,Job submit id, 提交时的目录, 运行job所需的配置文件,安全信息; String oldJobIDString = job.oldJobId.toString(原创 2013-05-17 16:34:49 · 721 阅读 · 0 评论 -
HadoopSourceAnalyse --- Mapreduce ApplicationMaster Job start
OverviewMRAppMaster 初始化成功之后, Master 开始根据运行时的配置信息加Job并为之请求Container执行任务。Start Job 图 1-1图 1-2Code: amInfos = new LinkedList(); completedTasksFromPreviousRun原创 2013-05-14 13:46:55 · 535 阅读 · 0 评论 -
HadoopSourceAnalyse---RMAppAttempt FSM
OverviewRMAppAttempt state machine图 1-1APP_ACCEPTED HandleRMAppAttempt 由RMApp创建并启动,向scheduler 提交靖求之后进入submited 状态。 scheduler 验证请求,并创建一个内部App对像并提交到queue,等待调度,向dispatcher 发送APP_ACCEPTED消原创 2013-04-28 09:39:53 · 745 阅读 · 0 评论 -
HadoopSourceAnalyse---RMApp FSM
Overview在hadoop中,很多资源的任务的实现都是用FSM来实现的,这里,用RMApp的实现来分析一下,Hadoop FSM。下图展示了,Hadoo 中RMApp的状态机变化:图 1-1下面再来看一下,每个事件是什么时候触发,当事件发生的时候,又做了什么!完整的状态机在 Classloader 将RMAppImpl load 到JVM中就建立来, 初始的状态,NEW原创 2013-04-27 15:12:01 · 813 阅读 · 0 评论 -
HadoopSourceAnalyse---ResourceMananger-initiate
初始化ResourceManager 是Hadoop mapreduce v2 实现在的核心之一, 它负责,接收并分发客户请求,监视集群中可用的Node资源。在系统启动的时候,ResourceManager会启动实例化以下的service和 对像。Resourcemanager在初化过程中会读取yarn.resourcemanager.recovery.enabled 标志,如果打开,reso原创 2013-04-23 16:49:29 · 1315 阅读 · 0 评论 -
HDFS --- DataNode startup service initialize
OverviewDataNode原创 2013-10-31 14:30:41 · 687 阅读 · 0 评论