概述
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS 的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。
HDFS优缺点：
- 高容错性
- 数据自动保存为多个副本，通过增加副本的形式，提高容错性
- 某一个副本丢失后，可以自动恢复
- 适合处理大数据
- 数据规模：能够处理数据达到GB，TB甚至PB级别数据
- 文件规模：能够处理百万规模以上的文件数量
- 可构建在廉价机器上，通过多副本机制，提高可靠性
- 不适合低延时数据访问，毫秒级的数据存储是做不到的
- 无法高效的对大量小文件进行存储，
- 存储大量小文件，会占用nameNode大量内存来存储文件目录和块信息，
- 小文件存储的寻址时间会超过读取时间，违反了HDFS的设计目标
- 不支持并发写入、文件随机修改
- 一个文件只能有一个写，不允许多个线程同时写
- 仅支持数据append，不支持文件的随机修改
HDFS组成架构
、
-
NameNode：（主管理）
-
管理HDFS的名称空间
-
配置副本策略
-
管理数据块映射信息
-
处理客户端读写请求
-
-
DataNode：（主操作）
- 存储实际的数据块
- 执行数据块的读写操作
-
Client
- 文件切分，文件上传HDFS的时候，Client将文件切分为Block，然后进行上传
- 与NameNode进行交互，获取文件的位置信息
- 与DataNode交互，读取或写入数据
- 提供一些命令来管理HDFS，如NameNode格式化
- 通过一些命令访问HDFS，如对HDFS的增删改查
-
Secondary NameNode：（不是NameNode热备）
- 辅助NameNode分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode
- 在紧急情况下，可辅助恢复NameNode
HDFS文件块大小
HDFS 中 的 文 件 在 物 理 上 是 分 块 存 储 （ Block ） ， 块 的 大 小 可 以 通 过 配 置 参 数 ( dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。
- 块大小计算：
- 如果寻址时间约为10ms，即查找到目标块的时间为10ms
- 当寻址时间为传输时间的1%时，为最佳状态，传输时间=10ms/0.01=1S
- 当前磁盘的传输速率普遍为100MB/s
- 块大小=传输速率*传输时间=
100MB/s x 1s=100MB
- 为什么块的大小不能设置太小，也不能设置太大
- HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；
- 如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。
- HDFS块的大小设置主要取决于磁盘传输速率。
常用Shell命令
# hadoop fs = hdfs dfs
# 追加一个文件到目标文件末尾
[-appendToFile <localsrc> ... <dst>]
# 显示文件内容
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
# 同Linux
[-chgrp [-R] GROUP PATH...]
# 同Linux
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
# 同Linux
[-chown [-R] [OWNER][:[GROUP]] PATH...]
# 从本地拷贝到HDFS
[-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
# 从HDFS拷贝到本地
[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...]
# 从HDFS拷贝到HDFS
[-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
# 统计文件夹的大小信息
[-du [-s] [-h] [-v] [-x] <path> ...]
[-expunge]
[-find <path> ... <expression> ...]
# 等同于copyToLocal
[-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
# 合并下载
[-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
[-head <file>]
[-help [cmd ...]]
# 显示文件信息
[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]]
# 创建文件夹
[-mkdir [-p] <path> ...]
# 从本地剪切粘贴到HDFS，不会删掉本地文件
[-moveFromLocal <localsrc> ... <dst>]
#从HDFS剪切粘贴到本地
[-moveToLocal <src> <localdst>]
# 在HDFS中移动文件
[-mv <src> ... <dst>]
# 等同于copyFromLocal
[-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
# 删除文件或文件
[-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
# 删除文件夹
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
# 设置HDFS中文件副本的数量
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
# 显示末尾1KB数据
[-tail [-f] [-s <sleep interval>] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...]
[-touchz <path> ...]
[-truncate [-w] <length> <path> ...]
[-usage [cmd ...]]
API
windows环境变量
需要在开发环境中配置hadoop\bin到环境变量中
创建Maven工程测试
<!--pom文件-->
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
</dependency>
</dependencies>
//Test
public class HDFSClient {
private FileSystem fileSystem;
@Before
public void getFileSystem() throws URISyntaxException, IOException, InterruptedException {
Configuration configuration=new Configuration();
//设置文件备份数量
//设置的优先级：客户端代码设置值 > 配置文件中设置的值 > 服务器自定义配置文件 > 服务器默认配置值
configuration.set("dfs.replication", "2");
fileSystem=FileSystem.get(new URI("hdfs://cl-master:8020"),configuration,"atguigu");
}
/**
* 创建文件夹测试
* @throws IOException
*/
@Test
public void mkdirTest() throws IOException {
if (fileSystem!=null){
boolean mkdirTest = fileSystem.mkdirs(new Path("mkdirTest"));
if (mkdirTest){
System.out.println("文件夹创建成功");
}else {
System.out.println("文件夹创建失败");
}
}
}
/**
* 文件上传测试
*/
@Test
public void copyTest() throws IOException {
//可以传四个参数：boolean delSrc 是否删除源文件, boolean overwrite 是否覆盖, Path src 源路径（可以是数组）, Path dst（目标路径）
Path src = new Path("E:\\Y\\Y-樱花.jpg");
Path dst = new Path("mkdirTest");
fileSystem.copyFromLocalFile(src,dst);
}
/**
* 文件下载
* @throws IOException
*/
@Test
public void downLoadTest() throws IOException {
//可以传四个参数：boolean delSrc 是否删除源文件, Path src 源路径（可以是数组）, Path dst（目标路径）, boolean useRawLocalFileSystem 是否关闭文件校验
Path src = new Path("mkdirTest/Y-樱花.jpg");
Path dst = new Path("E:\\Y-樱花.jpg");
fileSystem.copyToLocalFile(false,src,dst,true);
}
/**
* 文件重命名和移动
* @throws IOException
*/
@Test
public void renameTest() throws IOException {
Path path = new Path("mkdirTest/Y-樱花.jpg");
Path newPath = new Path("rename.jpg");
fileSystem.rename(path,newPath);
}
/**
* 文件删除
* @throws IOException
*/
@Test
public void mvTest() throws IOException {
Path newPath = new Path("mkdirTest/rename.jpg");
//两个参数：1. 删除文件路径，2. 是否递归删除，即删除非空目录
fileSystem.delete(newPath,true);
}
/**
* 获取文件详情
* @throws IOException
*/
@Test
public void getFileDetailTest() throws IOException {
Path newPath = new Path("mkdirTest/Y-樱花.jpg");
RemoteIterator<LocatedFileStatus> files = fileSystem.listFiles(newPath, true);
while (files.hasNext()){
LocatedFileStatus fileStatus=files.next();
System.out.println("========" + fileStatus.getPath() + "=========");
System.out.println(fileStatus.getPermission());
System.out.println(fileStatus.getOwner());
System.out.println(fileStatus.getGroup());
System.out.println(fileStatus.getLen());
System.out.println(fileStatus.getModificationTime());
System.out.println(fileStatus.getReplication());
System.out.println(fileStatus.getBlockSize());
System.out.println(fileStatus.getPath().getName());
// 获取块信息
BlockLocation[] blockLocations = fileStatus.getBlockLocations();
System.out.println(Arrays.toString(blockLocations));
}
}
/**
* 文件夹判断
* @throws IOException
*/
@Test
public void checkDirTest() throws IOException {
Path newPath = new Path("/user/atguigu");
FileStatus[] files = fileSystem.listStatus(newPath);
for (FileStatus file : files) {
if (file.isDirectory()){
System.out.println(file.getPath().getName()+"是文件夹");
}else if(file.isFile()){
System.out.println(file.getPath().getName()+"是文件");
}
}
}
@After
public void closeFs() throws IOException {
if (fileSystem!=null){
fileSystem.close();
}
}
}
读写流程
写入流程
- 客户端通过DFS向NameNode请求上传文件，NameNode检查目标文件是否已经存在，父目录是否存在
- NameNode返回是否可以上传
- 客户端请求第一个Block上传到那几个DataNode服务器上
- NameNode返回三个DataNode节点，分别为dn1、dn2、dn3
- 客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求后会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成
- dn1、dn2、dn3逐级应答客户端
- 客户端开始往dn1上传第一个Block（先从磁盘读取数据放到 一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给 dn3，dn1每传一个Packet会放入一个应答队列等待应答
- 当一个Block传输完成后，客户端再次请求NameNode上传第二个Block的DataNode服务器，重复3-7
节点选择
HDFS写数据的过程中。NameNode会选择距离待上传数据最近距离的DataNode接受数据，这个距离就是节点距离，即两个节点到达最近的共同祖先的距离总和
假设有数据中心d1机架r1中的节点 n1，该节点可以表示为d1/r1/n1
副本节点的选择
第一个副本在Client所处的节点上，如果客户端在集群外，随机选一个
第二个副本在另一个机架的随机一个节点
第三个副本在第二个副本所在机架的随机节点
读机制
- 客户端通过DFS向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址
- 挑选一台DataNode（就近原则，然后随机，负载均衡），请求读取数据
- DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）
- 客户端以Packet为单位接收，先在本地缓存，然后写入目标文件
NN和2NN
- NameNode启动
- 第一次启动NameNode格式化后，创建Fsimage和Edits文件，如果不是第一次启动，直接加载编辑日志和镜像文件到内存
- 客户端对元数据进行增删改请求
- NameNode记录操作日志，更新滚动日志
- NameNode在内存中对元数据进行增删改
- Secondary NameNode
- Secondary NameNode询问NameNode是否需要CheckPoint，直接带回NameNode是否检查结果
- Secondary NameNode请求执行CheckPoint
- NameNode滚动正在写的Edits日志
- 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode
- Secondary NameNode加载编辑日志 和镜像文件到内存，并合并
- 生成新的镜像文件fsimage.chkpoint
- 拷贝fsimage.chkpoint到NameNode
- NameNode将fsimage.chkpoint重新命名成fsimage
Fsimage：磁盘中元数据备份
Edits：（只进行追加操作，效率很高）。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到 Edits 中。
引入一个新的节点 SecondaryNamenode， 专门用于 FsImage 和 Edits 的合并。
NameNode被格式化后，将在$HADOOP_HOME/data/tmp/dfs/name/current目录中生成几个文件
fsimage：HDFS文件系统元数据的一个永久性的检查点，包含HDFS文件系统的所有目录和文件incode的序列化信息
Edits文件：存放HDFS文件系统的所有更新操作的路径， 文件系统客户端执行的所有写操作首先会被记录到Edits文件中
seen_txid：保存最新edits_的数字
每次NameNode启动的时候都会讲Fsimage读入内存，加载Edits里面的更新操作，保证内存中的元数据是最新的，同步的
oiv、oev命令
# oiv查看fsimage文件
# 基本语法 hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径
hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-3.1.3/fsimage.xml
# oev查看edits文件
# hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径
hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop- 3.1.3/edits.xml
CheckPoint时间设置
hdfs-default.xml
<!--默认1小时执行一次-->
<!--一分钟检查一次操作次数，当操作次数达到一百万时，2NN执行一次-->
<property>
<name>dfs.namenode.checkpoint.txns</name>
<value>1000000</value>
<description>操作动作次数</description>
</property>
<property>
<name>dfs.namenode.checkpoint.check.period</name>
<value>60s</value>
<description> 1分钟检查一次操作次数</description>
</property>
DataNode
工作机制
- 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块长度，块数据的校验和，以及时间戳
- DataNode启动后向NameNode注册，通过后，周期性的向NameNode上报所有的块信息
<property>
<name>dfs.blockreport.intervalMsec</name>
<value>21600000</value>
<description>DN向NN汇报当前解读信息的时间间隔</description>
</property>
<property>
<name>dfs.datanode.directoryscan.interval</name>
<value>21600s</value>
<description>DN扫描自己节点块信息列表的时间</description>
</property>
- 心跳没3s一次，心跳返回结果带有NN给DN的命令，如复制块数据到另一台机器，如果超过十分钟没有收到某个DataNode的心跳，则认为该节点不可用
- 集群运行中可以安全加入和退出一些机器
数据完整性
- 当DN读取Block时，会计算checkNum
- 如果计算后的checkNum与Block创建时不一样，说明Block损坏
- Client读取其它DN上的Block
- 常见校验算法crc（32）、md5（127）、sha1（160）
- DN在其文件创建后周期验证checkNum
掉线时参数设置
由于DN进行死亡或网络故障造成DN无法与NN进行通信，NN不会立即把该节点判定为死亡，而是有一个超时时长，默认为10M+30S
超时时长=dfs.namenode.heartbeat.recheck-interval*2+dfs.heartbeat.interval*10
<!--超时时长配置以上配置均在hdfs-site.xml内-->
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>300000</value>
</property>
<property>
<name>dfs.heartbeat.interval</name>
<value>3</value>
</property>
扫一扫
1496
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
