LINBE_blazers的博客

每次请求NameNode修改一条元数据（比如说申请上传一个文件，那么就需要在内存目录树中加入一个文件），都要写一条edits log，包括两个步骤： 写入本地磁盘。 通过网络传输给JournalNodes集群。 NameNode在写edits log时的第一条原则： 必须保证每条edits log都有一个全局顺序递增的transactionId（简称为txid），这样才可以标识出来一条一条的...

本文将结合hadoop2.7.0版本的源码与UML图对DataNode的初始化流程进行深入剖析，旨在更深入地理解DataNode初始化的整体逻辑 第一步：查看DataNode的入口方法main() public static void main(String args[]) { if (DFSUtil.parseHelpArgument(args, DataNode.USAGE, S...

本文将结合hadoop2.7.0版本的源码与UML图对NameNode的启动流程进行深入剖析，旨在更深入地理解NameNode启动的整体逻辑 第一、二步：找到NameNode的启动入口main()方法，进入方法体createNameNode() public static void main(String argv[]) throws Exception { if (DFSUtil....

一、什么是YARN YARN是Hadoop2.0版本引进的资源管理系统，直接从MR1演化而来 核心思想：将MR1中的JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进程实现 ResourceManager：负责整个集群的资源管理和调度 ApplicationMaster：负责应用程序相关事务，比如任务调度、任务...