qq_45725767的博客

在集群部署方面，Yarn的各个组件是和Hadoop集群中的其他组件进行同一部署的在YARN框架中执行一个MapReduce程序时，从提交到完成需要经历如下8个步骤。①用户编写客户端应用程序， 向YARN提交应用程序，提交的内容包括ApplicationMaster程序、启动AlipplicationMaster的命令、用户程序等。②YARN 中的ReourceManager负责接收和处理来自客户端的请求。接到客户端应用程序请求后，RsourceManager里面的调度器会为应用程序分配一个容器。同时

1、HDFS写流程  （1）客户端通过对FileSystem.create() 对象创建建文件，DistributedFileSystem会创建输出流FSDataOutputStream。  （2）DistributedFileSystem 通过RPC远程调用名称节点，在文件系统的命名空间中创建一个新的文件，此时该文件中还没有相应的数据块。  （3）名称节会执行一些检查，比如文件是否已经存在、客户端是都有权限创建文件等。检查通过后，名称节点会构造一个新文件，并添加文件信息。如果检查不通过，文件创建失败

MapReduce算法执行过程（1）MapReduce框架使用InputFormat模块做Map前的预处理，比如验证输入的格式是否符合输入定义；然后，将输入的文件切分为逻辑上的多个InputSplit，InputSplit是MapReduce对文件进行处理和运算的实际单位（逻辑概念），每个InputSplit没有对文件进行实际切割，只是记录了要处理的数据的位置和长度。（2）InputSplit是逻辑切分，所以需要通过RecordReader(RR)根据InputSplit的信息来处理InputSplit