HDFS概述

HDFS是用来统一管理分布在集群上的文件的系统。

HDFS是Apache Hadoop项目的一个子项目，Hadoop适合存储大型数据，其中就是使用HDFS作为存储系统。HDFS使用多台计算机来存储文件，并提供统一的访问接口，可以像访问普通文件系统一样访问分布式文件系统。

适合应用场景

1、对延时没有要求
2、流式访问，即一次写入多次读取。经常从数据源生成或者拷贝一次，然后用其做很多分析工作
3、Hadoop不需要高成本的机器
4、Hadoop可以提供很高的容错性，一个机器挂了，其他的副本可以补充这些数据
5、为数据提供所需的扩展能力（增加机器数量，对集群做横向扩展）

不适合应用场景

1、不适合毫秒级应用，牺牲延时
2、不适合存放大量小文件，文件的元数据存放在NameNode的内存中（一个文件会有一条元数据<地址、容量信息等>），整个文件系统的文件数量受限于namenode的内存大小。一个元数据大概150字节，100万个文件大概需要300M内存。。。。数亿级别难以支撑
##可以整合成大文件
3、不支持多方读写，不支持任意修改。

HDFS架构

HDFS是一个主从（Master/Salve）体系结构
由四部分组成：HDFS Client（客户端）、NameNode（主节点）、DataNode（从节点）、Secondary NameNode（对NameNode起辅助作用）。

1、Client客户端

• 文件上传到HDFS的时候，对文件切片，切分成一个个block，然后存储。
• 与NameNode进行交互，获取文件的位置信息。
• 与DataNode进行交互，读取或写入数据。（真实数据存储在DataNode上）
• 提供一些命令来访问和管理客户端。 （比如启动关闭客户端）

2、NameNode :一个文件管理者

• 管理HDFS的名称空间
• 管理数据块的映射信息
• 配置副本策略（被拆分的数据文件被拆分了几块呢？存放在哪些机器上呢？）
• 处理客户端的读写请求

3、DateNode：就是Savle，执行实际读写的操作

• 存储实际的数据块
• 执行数据的读写

4、Secondary NameNode 辅助NameNode

• 辅助NameNode分担工作量
• 并非热辅助，当NameNode挂掉的时候，不能马上替换NameNode工作
• 可辅助恢复NameNode

NameNode 和 DataNode

NameNode的作用

• NameNode在内存中存储整个文件系统的名称、空间、及文件数据块的地址映射
• 整个HDFS文件系统可以存储的文件数受限于NAMENode的内存大小。

1、持久化机制。NameNode元数据信息放在内存中，在fsimage镜像文件备份，edits存放日志文件，如果文件服务器重启，可以通过这两个文件来恢复元数据信息。
2、NameNode不参与真实的读写
3、根据自己的策略机制选择文件块存放在哪个主机上（机架感知）
4、心跳机制，DataNode向NameNode发送心跳信号，如果NameNode没有感知到原有的数据信号，NameNode可能会复制一分原有的相同副本到其DataNode上。

DataNode的作用

• 以数据块方式存储HDFS文件
• 响应客户端读写请求
• 周期性想NameNode汇报心跳信息
• 周期性想NameNode汇报数据库信息（有哪些块要汇报）
• 周期性想NameNode汇报缓存数据块信息（如果有一个主机的副本要经常被访问，那么就会在他的主机上开辟一个块缓存，用来存放其数据块信息，提高响应速度）

HDFS的副本机制 和 机架感知

副本可以增加数据的容错性，假如一台主机宕机，其他主机上可以通过他的副本来恢复，一个block可以通过配置来设置生成多少个副本。
机架感知：一个block存放在一个机架的一台主机上，那么会在这机架内挑一台主机存放副本，并且也会在另一个机架内的一个主机内存储这个数据块副本
,默认保存三份！！！
HDFS 默认 BlockSize 是128M；

这俩块主要是更好地存储数据，提供HDFS的容错能力

block、packet与chunk

在DFSClient写HDFS的过程中，有三个需要搞清楚的单位：block、packet与chunk；

block是最大的一个单位，它是最终存储于DataNode上的数据粒度，由dfs.block.size参数决定，默认是128M；注：这个参数由客户端配置决定；

packet是中等的一个单位，它是数据由DFSClient流向DataNode的粒度，以dfs.write.packet.size参数为参考值，默认是64K；注：这个参数为参考值，是指真正在进行数据传输时，会以它为基准进行调整，调整的原因是一个packet有特定的结构，调整的目标是这个packet的大小刚好包含结构中的所有成员，同时也保证写到DataNode后当前block的大小不超过设定值；

chunk是最小的一个单位，它是DFSClient到DataNode数据传输中进行数据校验的粒度，由io.bytes.per.checksum参数决定，默认是512B；

注：事实上一个chunk还包含4B的校验值，因而chunk写入packet时是516B；数据与检验值的比值为128:1，所以对于一个128M的block会有一个1M的校验文件与之对应；

hdfs的命令行的使用

---

题目

HDFS的存储机制（☆☆☆☆☆）

HDFS存储机制，包括HDFS的写入过程和读取过程两个部分

-写入

1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。

2）namenode返回是否可以上传。

3）客户端请求第一个 block上传到哪几个datanode服务器上。

4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。

5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成

6）dn1、dn2、dn3逐级应答客户端

7）客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，dn1收到一个packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答

8）当一个block传输完成之后，客户端再次请求namenode上传第二个block的服务器。（重复执行3-7步）

-读取

1）客户端向namenode请求下载文件，namenode通过查询元数据，找到文件块所在的datanode地址。

2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。

3）datanode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet为单位来做校验）。

4）客户端以packet为单位接收，先在本地缓存，然后写入目标文件。

SecondaryNameNode工作机制（☆☆☆☆☆）

1）第一阶段：namenode启动

 （1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
   
 （2）客户端对元数据进行增删改的请求

 （3） namenode记录操作日志，更新滚动日志。

 （4）namenode在内存中对数据进行增删改查

2）第二阶段：Secondary NameNode工作

   （1）SecondaryNameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。

   （2）SecondaryNameNode请求执行checkpoint。

   （3）namenode滚动正在写的edits日志

   （4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode

   （5）SecondaryNameNode加载编辑日志和镜像文件到内存，并合并。

   （6）生成新的镜像文件fsimage.chkpoint

   （7）拷贝fsimage.chkpoint到namenode

   （8）namenode将fsimage.chkpoint重新命名成fsimage

1.2.10 NameNode与SecondaryNameNode 的区别与联系？（☆☆☆☆☆）

1）机制流程同上；

2）区别

（1）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。

（2）SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。

3）联系：

   （1）SecondaryNameNode中保存了一份和namenode一致的镜像文件（fsimage）和编辑日志（edits）。

（2）在主namenode发生故障时（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。

hadoop节点动态上线下线怎么操作?

1）节点上线操作：

当要新上线数据节点的时候，需要把数据节点的名字追加在 dfs.hosts 文件中

（1）关闭新增节点的防火墙

（2）在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname

（3）在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname

（4）在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作

（5）在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname,

（6）在其他节点上执行刷新操作：hdfs dfsadmin -refreshNodes

（7）在 NameNode 节点上，更改 slaves 文件，将要上线的数据节点 hostname 追加到 slaves 文件中

（8）启动 DataNode 节点

（9）查看 NameNode 的监控页面看是否有新增加的节点

2）节点下线操作：

（1）修改/conf/hdfs-site.xml 文件

（2）确定需要下线的机器，dfs.osts.exclude 文件中配置好需要下架的机器，这个是阻止下架的机器去连接 NameNode。

（3）配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个操作的作用是在后台进行 block 块的移动。

（4）当执行三的命令完成之后，需要下架的机器就可以关闭了，可以查看现在集群上连接的节点，正在执行 Decommission，会显示：Decommission Status : Decommission in progress 执行完毕后，会显示：Decommission Status :Decommissioned

（5）机器下线完毕，将他们从excludes 文件中移除。

hadoop的块大小，从哪个版本开始是128M
Hadoop1.x都是64M，hadoop2.x开始都是128M。

写出你常用的hdfs命令
hdfs原理，以及各个模块的职责
哪个程序同城与nn在一个节点启动？哪个程序和DN在一个节点？如果一个节点脱离了集群应该怎么处理？

。。。。。。。

参考学习视频：
https://www.bilibili.com/video/BV1154y1U73k?from=search&seid=15979263450491874199