MR作业提交全过程

YARN作业提交全过程（详细）

client调用job.waitForCompletion方法，向整个集群提交MapReduce作业 (第1步) 。 新的作业ID(应用ID)由资源管理器分配(第2步).
作业的client核实作业的输出, 计算输入的split,将作业的资源(包括Jar包, 配置文件, split信息)拷贝给HDFS(第3步). 最后, 通过调用资源管理器的submitApplication()来提交作业(第4步).
当资源管理器收到submitApplication()的请求时, 就将该请求发给调度器(scheduler), 调度器分配container, 然后资源管理器在该container内启动应用管理器进程, 由节点管理器监控(第5a和5b步)。

---

MapReduce作业的应用管理器是一个主类为MRAppMaster的Java应用。其通过创造一些bookkeeping对象来监控作业的进度,
得到任务的进度和完成报告(第6步)。然后其通过分布式文件系统得到由客户端计算好的输入split(第7步)。然后为每个输入split创建一个map任务,
根据mapreduce.job.reduces创建reduce任务对象。

---

  如果作业很小，应用管理器会选择在其自己的JVM中运行任务。如果不是小作业, 那么应用管理器
  向资源管理器请求container来运行所有的map和reduce任务(第8步). 这些请求是通过心跳来传输的,

包括每个map任务的数据位置, 比如存放输入split的主机名和机架(rack). 调度器利用这些信息来调度任务,

尽量将任务分配给存储数据的节点, 或者退而分配给和存放输入split的节点相同机架的节点.

 当一个任务由资源管理器的调度分配给一个container后, 应用管理器通过联系节点管理器来启动
 container(第9a步和9b步). 任务由一个主类为YarnChild的Java应用执行.

在运行任务之前首先本地化任务需要的资源, 比如作业配置, JAR文件, 以及分布式缓存的所有文件(第10步). 最后,
运行map或reduce任务(第11步). YarnChild运行在一个专用的JVM中, 但是YARN不支持JVM重用.
YARN中的任务将其进度和状态（包括counter）返回给应用管理器，客户端每秒（通过mapreduce.client.progressmonitor.pollinterval设置）向应用管理器请求进度更新，展示给用户。
除了向应用管理器请求作业进度外，客户端每5分钟都会通过调用waitForCompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.
pollinterval来设置。作业完成之后, 应用管理器和container会清理工作状态,
OutputCommiter的作业清理方法也会被调用。作业的信息会被作业历史服务器存储以备之后用户核查。

作业提交过程之MapReduce

shuffle执行过程分为两个核心环节 mapShuffle reduceShuffle
job提交数据任务，根据客户提交的切片决定maptask的次数，map读取job提交的数据,输出格式为key/value的形式，对键值对进行一个默认的分区，每一个map任务分配一个缓存，缓存默认大小是100m当缓存到达80%时会启动溢写操作，在写入我文件之前对键值对进行分区排序合并，，默认分区是hash函数对key进行哈希在对reduce的数量取模，也可以按照需求自定义分区，默认会对key的一个字典排序，排序结束后有一个可选的合并（combine）的操作，一般在累加最大的值得场景上使用。溢出的文件时分区且区内有序的，最后对所以溢写文件进行一个归并操作。如果磁盘中生生产溢写文件的数量超过min.num.spills.for.combine的值时（默认是3，用户可以修改）就可以再次运行combiner对数据进行合并，从而减小写入磁盘的数据量。map端shuffle过程结束，通知相关的Reduce任务来拉取数据，并把数据放到缓存中，缓存内容达到80%的时候同样执行溢写操作，生产溢写文件，把这些溢写文件归并成一个大文件需要多轮归并操作，每轮归并操作的文件数由参数io.sort.factor来决定（默认是10，可以修改）然后输出到Reduce任务进行最终的一个输出数

Hdfs写数据流程

1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。
3）客户端请求第一个 block上传到哪几个datanode服务器上。NN
4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。
5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
6）dn1、dn2、dn3逐级应答客户端
7）客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，dn1收到一个packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答
8）当一个block传输完成之后，客户端再次请求namenode上传第二个block的服务器。（重复执行3-7步）

Hdfs数据流程

1、跟namenode通信查询元数据，找到文件块所在的datanode服务器
2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流
3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet(包)为单位来做校验）
4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件