经典大数据题目

1. hdfs的读写流程
   答：
   client访问NameNode，查询元数据信息，获得这个文件的数据块位置列表，返回输入流对象。
   就近挑选一台datanode服务器，请求建立输入流 。
   DataNode向输入流中中写数据，以packet为单位来校验。
   关闭输入流

2. mr on yarn 流程
   (1、)客户端提交作业申请
   - 客户端向ResourceManager（后续简称RM）提交作业申请。
   - RM根据申请内容返回相关的信息（例如根据input的路径，返回对应的文件元数据，还有作业资源的提交路径）。
   - 客户端根据RM返回的信息生成资源文件（job.split、job.xml、app.jar）并将资源文件提交至提交路径（一般存放在 hdfs上）
   - 资源文件提交完毕，向RM申请运行applicationMaster（后续简称AM）。
   (2、)RM处理用户请求
   - RM将用户的请求打包为task，放置调度队列，根据当前yarn的调度模式进行调度（YARN提供的三种任务调度策略：FIFO Scheduler，Capacity Scheduler 和 Fair Schedule