HDFS_hdfs总结-CSDN博客

本文链接：https://blog.csdn.net/takeuherat/article/details/103056480

本文详细介绍了HDFS的优缺点、组成架构，包括NameNode和Secondary NameNode的工作机制，DataNode的角色，以及HDFS 2.X的新特性。还探讨了HDFS的高可用性配置，如HA和YARN的高可用设置。

摘要由CSDN通过智能技术生成

文章目录

- HDFS

HDFS

HDFS优缺点

* 优点 
1）高容错性 
	数据自动保存多个副本。它通过增加副本的形式，提高容错性。
2）适合处理大数据 
	数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
	某一个副本丢失以后，它可以自动恢复。
	文件规模：能够处理百万规模以上的文件数量，数量相当之大。 
3）可构建在廉价机器上，通过多副本机制，提高可靠性。

*缺点
1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。 
2）无法高效的对大量小文件进行存储。 
	存储大量小文件的话，它会占用NameNode大量的内存来存储文件 目录和块信息。这样是不可取的，因为NameNode的内存总是有限的； 
	小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。 
3）不支持并发写入、文件随机修改。 
	一个文件只能有一个写，不允许多个线程同时写；
	仅支持数据append（追加），不支持文件的随机修改

HDFS组成架构

* 组成
1）NameNode（nn）：就是Master，它 是一个主管、管理者。 
	（1）管理HDFS的名称空间； 
	（2）配置副本策略； 
	（3）管理数据块（Block）映射信息； 
	（4）处理客户端读写请求。
2）DataNode：就是Slave。NameNode 下达命令，DataNode执行实际的操作。 
	（1）存储实际的数据块； 
	（2）执行数据块的读/写操作。
3）Client：就是客户端。 
	（1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传； 
	（2）与NameNode交互，获取文件的位置信息；
	（3）与DataNode交互，读取或者写入数据； 
	（4）Client提供一些命令来管理HDFS，比如NameNode格式化； 
	（5）Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；
4）Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不 能马上替换NameNode并提供服务。
	（1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode ；
	（2）在紧急情况下，可辅助恢复NameNode。
* 文件块
	HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数 ( dfs.blocksize)来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M
    寻址时间为传输时间的1% 时，则为最佳状态
    思考：为什么块的大小不能设置太小，也不能设置太大？
		（1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；
		（2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开 始位置所需的时间。导致程序在处理				这块数据时，会非常慢。
		总结：HDFS块的大小设置主要取决于磁盘传输速率。

HDFS 的 Shell 操作

1．基本语法 bin/hadoop fs 具体命令   OR  bin/hdfs dfs 具体命令 
	dfs 和 fs 是执行的同一个类 org.apache.hadoop.fs.FsShell。 
2．常用命令实操 
	（1）-help：输出这个命令参数 
	（2）-ls: 显示目录信息 
	（3）-mkdir：在 HDFS 上创建目录 
	（4）-moveFromLocal：从本地剪切粘贴到 HDFS 
	（5）-appendToFile：追加一个文件到已经存在的文件末尾 
	（6）-cat：显示文件内容 
	（7）-chgrp 、-chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限 
	（8）-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去 
	（9）-copyToLocal：从 HDFS 拷贝到本地 
	（10）-cp ：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径 
	（11）-mv：在 HDFS 目录中移动文件 
	（12）-get：等同于 copyToLocal，就是从 HDFS 下载文件到本地 
	（13）-getmerge：合并下载多个文件，比如 HDFS 的目录 /user/ityouxin/test 下有多个文
件:log.1, log.2,log.3,... 
	（14）-put：等同于 copyFromLocal 
	（15）-tail：显示一个文件的末尾 
	（16）-rm：删除文件或文件夹 
	（17）-rmdir：删除空目录 
	（18）-du 统计文件夹的大小信息 
	（19）-setrep：设置 HDFS 中文件的副本数量 
			这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得
		看 DataNode 的数量。因为目前只有 3 台设备，最多也就 3 个副本，只有节点数的增加到 10
		台时，副本数才能达到 10

NN和2NN的工作机制

* 机制
        1. 第一阶段：NameNode 启动 
    （1）第一次启动 NameNode 格式化后，创建 Fsimage 和 Edits 文件。如果不是第一次启
    动，直接加载编辑日志和镜像文件到内存。 
    （2）客户端对元数据进行增删改的请求。 
    （3）NameNode 记录操作日志，更新滚动日志。 
    （4）NameNode 在内存中对元数据进行增删改。 
	2. 第二阶段：Secondary NameNode 工作  
    （1）Secondary NameNode 询问 NameNode 是否需要 CheckPoint。直接带回 NameNode
    是否检查结果。 
     （2）Secondary NameNode 请求执行 CheckPoint。 
     （3）NameNode 滚动正在写的 Edits 日志。 
     （4）将滚动前的编辑日志和镜像文