hadoop
江山疯宇晴
这个作者很懒,什么都没留下…
展开
-
HadoopSourceAnalyse---ResourceMananger-Request Handle
Overview 在hadoop中有几大类资源要管理,为管理这些资源,hadoop定义了自己的,通信的协议, 下表是通用的请求格式 h r p c version Service class AuthMethod Serialize type(0)原创 2013-04-26 14:11:27 · 756 阅读 · 0 评论 -
HDFS---Namenode
Overview Namenode 是HDFS中负责namespace管理的节点,Namenode 保存了当前集群中所存储的的所有的文件的元数据信息,namenode同时与集群中其它的节点通信,以保持元数据与系统中的文件的一致性,同时也和client通信,以响应client对文件的需要。 NameNode中主要有两个大类来处理这些需求, FSNamesystem ---- 是一个门原创 2013-07-23 13:27:24 · 695 阅读 · 0 评论 -
HadoopSourceAnalyse --- Mapreduce ApplicationMaster Job start
Overview MRAppMaster 初始化成功之后, Master 开始根据运行时的配置信息加Job并为之请求Container执行任务。 Start Job 图 1-1 图 1-2 Code: amInfos = new LinkedList(); completedTasksFromPreviousRun原创 2013-05-14 13:46:55 · 529 阅读 · 0 评论 -
HadoopSourceAnalyse --- Mapreduce ApplicationMaster init&startup
Overview ApplicationMaster 是运MapReduce 任务的中间核心组组件,主要负责向ResourceManager请求Container来运行任务,并监视任务的执行: 图 1-1 上图展示了,ApplicationMaster 在初始化的时候,做了哪 些事情, 当一个新的任务提交的时候,ApplicationMaster会依次启动下列的Service原创 2013-05-13 11:25:58 · 1087 阅读 · 0 评论 -
HadoopSourceAnalyse --- Mapreduce Job init&submit
Overview Hadoop 的任务是通过Job对像提交到系统处理的,所以Job对像带有一切运行任务所需要的信息。下图展示了,Job运行过程所经历的所有阶段: 图 1-1 在配置 完Job对像之后,Job会首初始化一个Cluster对像,用来保存Cluster相关的信息,包括用来与ResourceManager通信的客户端: 图 1-2原创 2013-05-09 16:19:29 · 1168 阅读 · 0 评论 -
HadoopSourceAnalyse --- Nodemanager Container FSM
overview 上图中还有一个状态变换,从killing 到 Exited_with_failure,这个变换由事件:CONTAINER_EXITED_WITH_FAILURE 触发,执行:ExitedWithFailureTransition; INIT_CONTAINER And RESOURCE_LOCALIZED Handle Container 收到该事件通知后,会首先偿试原创 2013-05-07 17:57:52 · 701 阅读 · 0 评论 -
HadoopSourceAnalyse --- Nodemanager Application FSM
overview INIT_APPLICATION Handle 收到 该 事件通知,Application 保存当前的用户的ACL信息,并通知logHandler,记录用户信息,App进入INITING状态: app.applicationACLs = initEvent.getApplicationACLs(); app.aclsManager.addAppli原创 2013-05-08 13:45:40 · 544 阅读 · 0 评论 -
HadoopSourceAnalyse --- Mapreduce ApplicationMaster TaskAttempt FSM
Overview TaskAttempt 对像将是我们的task最后真正执行的地方,前面的所有的工作都是为了让我们的Attempt服务, 在Attempt被创建出来之后,Attemp开始等待SChedule 或ReSchedule 事件, 该事件将由Taskimpl对像触发。 图 1-1 T_SCHEDULE AND T_RESCHEDULE Handle 当Attempt收到原创 2013-05-22 13:43:03 · 824 阅读 · 0 评论 -
HadoopSourceAnalyse --- NodeManager -- initiate
Overview NodeManager 是hadoop cluster的server中,负责管理,执行任务相关的资源,主要通过ResouceManager和ApplicationsManager通信,通过ContainerManager与ApplicationMasterService 通信, Initiate Services DeletionService原创 2013-05-06 14:52:07 · 2017 阅读 · 0 评论 -
HadoopSourceAnalyse --- Mapreduce ApplicationMaster Job FSM
Overview 图 1-1 JOB_INIT HANDLE 当Job收到JOB_INIT事件之后,Job开始初始自己: 图 2-1 首先,Job要setup相应配置信息,包括,Job submit id, 提交时的目录, 运行job所需的配置文件,安全信息; String oldJobIDString = job.oldJobId.toString(原创 2013-05-17 16:34:49 · 710 阅读 · 0 评论 -
HadoopSourceAnalyse---RMAppAttempt FSM
Overview RMAppAttempt state machine 图 1-1 APP_ACCEPTED Handle RMAppAttempt 由RMApp创建并启动,向scheduler 提交靖求之后进入submited 状态。 scheduler 验证请求,并创建一个内部App对像并提交到queue,等待调度,向dispatcher 发送APP_ACCEPTED消原创 2013-04-28 09:39:53 · 738 阅读 · 0 评论 -
HadoopSourceAnalyse---RMApp FSM
Overview 在hadoop中,很多资源的任务的实现都是用FSM来实现的,这里,用RMApp的实现来分析一下,Hadoop FSM。 下图展示了,Hadoo 中RMApp的状态机变化: 图 1-1 下面再来看一下,每个事件是什么时候触发,当事件发生的时候,又做了什么!完整的状态机在 Classloader 将RMAppImpl load 到JVM中就建立来, 初始的状态,NEW原创 2013-04-27 15:12:01 · 803 阅读 · 0 评论 -
HadoopSourceAnalyse---ResourceMananger-initiate
初始化 ResourceManager 是Hadoop mapreduce v2 实现在的核心之一, 它负责,接收并分发客户请求,监视集群中可用的Node资源。在系统启动的时候,ResourceManager会启动实例化以下的service和 对像。Resourcemanager在初化过程中会读取yarn.resourcemanager.recovery.enabled 标志,如果打开,reso原创 2013-04-23 16:49:29 · 1300 阅读 · 0 评论 -
HDFS ---- Services startup
Overview HDFS内部把各种功能通过各种服务的方式向外部提供。 在启动的时候,HDFS主要启动以下一些服务: HTTPServer, 用来动态查看当前系统状态;JVMPauseMonitor, 用来记录当前运行的JVM是否曾经暂停过;NameNodeResourceChecker, 定期检查当前系统可用的本地目录的可用空间;BlockManager, 管理系统中所有与Block相关原创 2013-10-22 21:59:35 · 714 阅读 · 0 评论