大数据4-HDFS工作机制

概述：

1. HDFS集群分为两大角色：NameNode、DataNode  (Secondary Namenode)
2. NameNode负责管理整个文件系统的元数据
3. DataNode 负责管理用户的文件数据块
4. 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上
5. 每一个文件块可以有多个副本，并存放在不同的datanode上
6. Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量
7. HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进行

1.HDFS写数据流程：

详细步骤：

1、根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在；

2、namenode返回是否可以上传；

3、client请求第一个 block该传输到哪些datanode服务器上；

4、namenode返回3个datanode服务器ABC；

5、client请求3台dn中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端；

6、client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答；

7、当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。

2.namenode工作机制

2.1元数据管理：namenode对数据的管理采用了三种存储形式：

               内存元数据(NameSystem)

              磁盘元数据镜像文件

              数据操作日志文件（可通过日志运算出元数据）

2.2元数据存储机制：

A、内存中有一份完整的元数据(内存meta data)

B、磁盘有一个“准完整”的元数据镜像（fsimage）文件(在namenode的工作目录中)

C、用于衔接内存metadata和持久化元数据镜像fsimage之间的操作日志（edits文件）注：当客户端对hdfs中的文件进行新增或者修改操作，操作记录首先被记入edits日志文件中，当客户端操作成功后，相应的元数据会更新到内存meta.data中

hadoop中元数据的位置和目录结构：在开始自己创建的tmp目录中：

2.3checkpoint：

每隔一段时间，会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage下载到本地，并加载到内存进行merge（这个过程称为checkpoint）

checkpoint的附带作用：

namenode和secondary namenode的工作目录存储结构完全相同，所以，当namenode故障退出需要重新恢复时，可以从secondary namenode的工作目录中将fsimage拷贝到namenode的工作目录，以恢复namenode的元数据

几个关于namenode常见问题：

1、Namenode服务器的磁盘故障导致namenode宕机，如何挽救集群及数据？

          两种方式：a.可以将secondary namenode的工作目录拷贝进namenode中，可以最大限度恢复namenode的数据；

                            b.在配置core-site.xml的 

<!---namenode配置多个目录和datanode配置多个目录，有什么区别？----> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/data/name,/path2/,/path3/,nfs://</value> </property>

时可以指定多个存储目录用来备份。

                           c.配置HA高可用 ，冷热切换，一个节点挂了，马上有另一个启动。

                                   

2、Namenode是否可以有多个？namenode内存要配置多大？namenode跟集群数据存储能力有关系吗？

  在非HA下只有一个，若HA情况下可以有两个，联邦机制可以有多个；

 内存根据需求，一般情况下一个block块为150字节，一般服务器内存为64G，此时可以用几十G作为namenode内存可以；

 有关的是datanode，namenode倒不是很大，不过要避免上传很多的小文件，因为这样会耗费namenode的数据存储，效率低。

3、文件的blocksize究竟调大好还是调小好？--结合mapreduce

    要结合数据量和业务逻辑一般一个maptask保证跑50秒左右，根据业务来确认blocksize大小。

4、集群启动后，可以查看目录，但是上传文件时报错，打开web页面可看到namenode正处于safemode状态，怎么处理？

解释：

safemode是namenode的一种状态（active/standby/safemode安全模式）

namenode进入安全模式的原理：

  a、namenode发现集群中的block丢失率达到一定比例时（0.01%），namenode就会进入安全模式，在安全模式下，客户端不能对任何数据进行操作，只能查看元数据信息（比如ls/mkdir）

  b、如何退出安全模式？

找到问题所在，进行修复（比如修复宕机的datanode）

或者可以手动强行退出安全模式（没有真正解决问题）： hdfs namenode --safemode leave

  c、在hdfs集群正常冷启动时，namenode也会在safemode状态下维持相当长的一段时间，此时你不需要去理会，等待它自动退出安全模式即可

(原理：

namenode的内存元数据中，包含文件路径、副本数、blockid，及每一个block所在datanode的信息，而fsimage中，不包含block所在的datanode信息，那么，当namenode冷启动时，此时内存中的元数据只能从fsimage中加载而来，从而就没有block所在的datanode信息——>就会导致namenode认为所有的block都已经丢失——>进入安全模式——>datanode启动后，会定期向namenode汇报自身所持有的blockid信息，——>随着datanode陆续启动，从而陆续汇报block信息，namenode就会将内存元数据中的block所在datanode信息补全更新——>找到了所有block的位置，从而自动退出安全模式)