HDFS整理

HDFS副本摆放策略

若本地节点是DN，则本地节点一份；同机架的随机另一个节点一份；不同机架随机节点一份。
若本地节点不是DN，则随机节点一份；该节点同机架随机另一节点一份；不同机架随机节点一份。

HDFS写数据流程

HDFS读数据

hdfs shell命令

-ls 显示文件、目录信息
-mkdir 在hdfs上创建目录，-p表示会创建路径中的各级父目录
-put 将单个src或多个srcs从本地文件系统复制到目标文件系统
-get 将文件复制到本地文件系统
-appendFile 追加一个文件到已经存在的文件末尾
-cat 显示文件内容
-tail 将文件的最后的内容
-chmod 改变文件的权限。使用-R将使改变在目录结构下递归进行
-copyFromLocal 从本地文件系统中拷贝文件到hdfs路径去
-copyToLocal 从hdfs拷贝到本地
-cp 从hdfs的一个路径拷贝hdfs的另一个路径
-mv 在hdfs目录中移动文件
-rm 删除指定的文件。只删除非空目录和文件。-r 递归删除
-df 统计文件系统的可用空间信息
-du 显示目录中所有文件大小，当只指定一个文件时显示此文件的大小

原文链接：https://blog.csdn.net/CenCenNA/article/details/102960307

secondarynamenode工作机制

1）第一阶段：namenode启动
（1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求
（3）namenode记录操作日志，更新滚动日志。
（4）namenode在内存中对数据进行增删改查
2）第二阶段：Secondary NameNode工作
（1）SecondaryNameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。
（2）SecondaryNameNode请求执行checkpoint。
（3）namenode滚动正在写的edits日志
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode
（5）SecondaryNameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint
（7）拷贝fsimage.chkpoint到namenode
（8）namenode将fsimage.chkpoint重新命名成fsimage

NameNode与SecondaryNameNode 的区别与联系？

区别

• NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。
• SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。

联系：

• SecondaryNameNode中保存了一份和namenode一致的镜像文件（fsimage）和编辑日志（edits）。
• 在主namenode发生故障时（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。

原文链接：https://blog.csdn.net/qq_37873221/article/details/80138658