大数据学习笔记2019

1.hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

2.yarn 提交流程？
当用户向YARN中提交一个应用程序后，YARN将分两个阶段运行该应用程序：第一个阶段是启动ApplicationMaster；第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，并监控它的整个运行过程，直到运行完成。如图2-11所示，YARN的工作流程分为以下几个步骤：
步骤1　用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。
步骤2　ResourceManager为该应用程序分配第一个Container，并与对应的Node-Manager通信，要求它在这个Container中启动应用程序的ApplicationMaster。
步骤3　ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManage查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤4~7。
步骤4　ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。
步骤5　一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务。
步骤6　NodeManager为任务设置好运行环境（包括环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。
步骤7　各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。
在应用程序运行过程中，用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。
步骤8　应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭自己

3.hdfs 读写流程？

读流程：
1、客户端和NameNode通讯，判断该文件是否存在，如果存在获取文件的块位置信息，其中包括了块的 所有冗余备份的位置信息：DataNode的列表首先，
2、客户端获取文件位置信息后直接同有文件块的DataNode通讯，读取文件
3、如果第一个DataNode无法连接，客户端将自动联系下一个DataNode
4、如果块数据的校验值出错，则客户端需要向NameNode报告，并自动联系下一个DataNode

写流程：
•客户端写一个文件并不是直接写到HDFS上
•1、HDFS客户端把文件缓存在本地
•2、HDFS客户端向Namenode发送要存储文件的位置以及文件名
•3、NameNode返回给客户端该文件是否可存以及DN的信息、块大小的信息
•4、将文件切块，客户端向列表中的第一个DataNode写入块
–当完成时，第一个DataNode 向列表中的下个DataNode发送写操作
–之后的DataNode重复之上的步骤
–当列表中所有DataNode都接收到数据并且由最后一个DataNode校验数据正确性完成后，返回确 认信息给客户端
•5、客户端继续发送下一个块，重复以上步骤
•6、当所有数据发送完成后，写操作完成
–将块信息的存储情况记录到edits文件，再更新到NameNode的元数据中。
•7、收到所有DataNode的确认信息后，客户端删除本地缓存

4.安全模式？

1)NameNode启动的时候会先经过一个"安全模式"(保证数据安全)
安全模式下不会产生数据写入操作，因为NameNode验证数据，不支持此操作；支持读取
在此阶段NameNode收集各个DataNode节点的报告，当数据块的最小副本数=配置文件中设置的值时        ，认为它是"安全模式"
此时退出安全模式，才可以进行数据写入操作

当检测到副本数不足的数据块时，该数据块会被HDFS自动复制直到达到配置文件中设置的最小副        本数时停止复制

2)安全模式(SafeInMode)下可以进行的操作：
只能够查询，不支持任何对于数据改动(增加、删除)

3)如何进入安全模式
					进入|离开|下载
hdfs dfsadmin -safemode enter|leave|get

5.hadoop的调度方式？

上传输入数据到HDFS
将打包的jar作为作业提交作业到YARN
YARN对作业进行调度和执行，执行过程中从HDFS读取数据，将结果数据写入HDFS
从HDFS读取结果数据