hadoop_HDFS_笔记

mazankang

于 2022-08-15 22:52:07 发布

阅读量495

点赞数

文章标签： hadoop hdfs 大数据

本文链接：https://blog.csdn.net/m0_62783212/article/details/126356370

版权

第1章 HDFS概述

HDFS的优缺点

优点：

高容错性

数据自动保存多个副本。它通过增加副本的形式，提高容错

某一个副本丢失以后，它可以自动恢复。
适合处理大数据

数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；

文件规模：能够处理百万规模以上的文件数量，数量相当之大。
可构建在廉价机器上，通过多副本机制，提高可靠性。

缺点：

不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
无法高效的对大量小文件进行存储。

存储大量小文件的话，它会占用NameNode大量的内存来存储文件
目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；

小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
不支持并发写入、文件随机修改。

一个文件只能有一个写，不允许多个线程同时写；

仅支持数据append（追加），不支持文件的随机修改。

第2章 HDFS的Shell操作（开发重点）

基本语法：

bin/hadoop fs 具体命令

bin/hdfs dfs 具体命令

dfs是fs的实现类。

命令大全：

-help：输出这个命令参数
-ls: 显示目录信息
-mkdir：在HDFS上创建目录
-moveFromLocal：从本地剪切粘贴到HDFS
-appendToFile：追加一个文件到已经存在的文件末尾
-cat：显示文件内容
-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
-copyToLocal：从HDFS拷贝到本地
-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径
-mv：在HDFS目录中移动文件
-get：等同于copyToLocal，就是从HDFS下载文件到本地
-getmerge：合并下载多个文件，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,…
-put：等同于copyFromLocal
-tail：显示一个文件的末尾
-rm：删除文件或文件夹
-rmdir：删除空目录
-du统计文件夹的大小信息
-setrep：设置HDFS中文件的副本数量

第3章 HDFS客户端操作（开发重点）

3.1 HDFS客户端环境准备

3.2 HDFS的API操作

3.2.1 HDFS文件上传

/*文件上传hdfs*/
@Test
public void testCopyFromLocalFile() throws URISyntaxException, IOException, InterruptedException {
    //获取fs对象
    Configuration conf=new Configuration();
    conf.set("def.replication","2");//设置副本数
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),conf, "ma");
    //执行上传代码
    fs.copyFromLocalFile(new Path("D:/Big_Data/temp共享/hadoop2.7.2/1.笔记/尚硅谷大数据技术之Hadoop（HDFS).docx"),new Path("/day26/test"));

    //关闭资源
    fs.close();
}

3.2.2 HDFS文件下载

/*文件下载hdfs*/
@Test
public void testCopyToLocalFile() throws URISyntaxException, IOException, InterruptedException {
    //获取fs对象
    Configuration conf=new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "ma");

    //执行下载操作
    //fs.copyToLocalFile(new Path("/day26/test/尚硅谷大数据技术之Hadoop（HDFS).docx"),new Path("D:/"));
    fs.copyToLocalFile(false,new Path("/day26/test/尚硅谷大数据技术之Hadoop（HDFS).docx"),new Path("D:/"),true);
    //3
    fs.close();
}

3.2.3 HDFS文件夹删除

/*文件夹的删除*/
@Test
public void testDelete() throws URISyntaxException, IOException, InterruptedException {
    //获取fs对象
    Configuration conf=new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "ma");
    //执行删除操作
    fs.delete(new Path("/delete.txt"),true);
    //3
    fs.close();
}

3.2.4 HDFS文件名更改

/*更改名字*/
@Test
public void testRename() throws URISyntaxException, IOException, InterruptedException {
    //获取fs对象
    Configuration conf=new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "ma");
    //更改名字
    fs.rename(new Path("/day26"),new Path("/day27"));
    //3
    fs.close();
}

3.2.5 HDFS文件详情查看

/*文件详情查看*/
@Test
public void testlistFiles() throws URISyntaxException, IOException, InterruptedException {
    //获取fs对象
    Configuration conf=new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "ma");
    //查看文件详情
    RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/day27"), true);
    while (listFiles.hasNext()){
        LocatedFileStatus fileStatus = listFiles.next();
        //查看文件名称、权限、长度、块信息
        System.out.println(fileStatus.getPath().getName());//文件名称
        System.out.println(fileStatus.getPermission());//文件权限
        System.out.println(fileStatus.getLen());//文件长度

        //块信息
        for (BlockLocation blockLocation : fileStatus.getBlockLocations()) {
           // System.out.println(blockLocation);
            for (String host : blockLocation.getHosts()) {//返回所有的主机名称
                System.out.println(host);
            }
        }
        System.out.println();
    }
    fs.close();
}

3.2.6 HDFS文件和文件夹判断

/*判断是文件还是文件夹*/
@Test
public void testfileStatus() throws URISyntaxException, IOException, InterruptedException {
    //获取fs对象
    Configuration conf=new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "ma");
    //判断是否是文件夹
    FileStatus[] fileStatuses = fs.listStatus(new Path("/"));//首先获取文件状态
    for(FileStatus fileStatus:fileStatuses){
        if (fileStatus.isFile()){//进行判断
            System.out.println("文件:"+fileStatus.getPath().getName());
        }else {
            System.out.println("文件夹："+fileStatus.getPath().getName());
        }

    }
    fs.close();
}

3.3 HDFS的I/O流操作

上面我们学的API操作HDFS系统都是框架封装好的。那么如果我们想自己实现上述API的操作该怎么实现呢？

我们可以采用IO流的方式实现数据的上传和下载。

3.3.1文件上传

FSDataOutputStream

public class Hdfs_IO {
    /*把本地TXT文件上传到HDFS*/
    @Test
    public void putFileToHDFS() throws URISyntaxException, IOException, InterruptedException {
        //创建fs对象
        Configuration conf =new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "ma");
        //获取输入流
        FileInputStream fis = new FileInputStream(new File("D:\\Big_Data\\17马赞康.doc"));
        //获取输出流
        FSDataOutputStream fsdos = fs.create(new Path("/day27/test/17马赞康.doc"));
        //流的对拷贝
        IOUtils.copyBytes(fis,fsdos,conf);
        //关闭
        IOUtils.closeStream(fis);
        IOUtils.closeStream(fsdos);
        fs.close();
    }

3.3.2文件下载

FSDataInputStream

/*HDFS文件下载*/
@Test
public void getFileFromHDFS() throws URISyntaxException, IOException, InterruptedException {
    //创建fs对象
    Configuration conf=new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),conf,"ma");
    //获取输入流
    FSDataInputStream fis=fs.open(new Path("/day27/test/17马赞康.doc"));
    //获取输出流
    FileOutputStream fos = new FileOutputStream(new File("D:\\Big_Data\\17马赞康.doc"));
    //流的对拷
    IOUtils.copyBytes(fis,fos,conf);
    //关闭
    IOUtils.closeStream(fis);
    IOUtils.closeStream(fos);
    fs.close();
}

3.3.3 定位文件读取

/*  定位文件的读取
    需求：分块读取HDFS上的大文件，比如根目录下的/hadoop-2.7.2.tar.gz
*/
//下载第一块
@Test
public void Fileread() throws URISyntaxException, IOException, InterruptedException {
    //fs对象创建
    Configuration conf=new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "ma");
    //获取输入流
    FSDataInputStream fis=fs.open(new Path("/hadoop-2.7.2.tar.gz"));
    //获取输出流
    FileOutputStream fos = new FileOutputStream(new File("D:\\Big_Data\\Hadoop_Test_file\\hadoop-2.7.2.tar.gz"));
    //流的对拷(只拷贝128m)
    byte[] bytes=new byte[1024];
    for (int i = 0; i < 1024 * 128; i++) {
        fis.read(bytes);//读取文件到byte数组
        fos.write(bytes);
    }
    //关闭
    IOUtils.closeStream(fis);
    IOUtils.closeStream(fos);
    fs.close();
}
//下载第二块
@Test
public void Fileread1() throws URISyntaxException, IOException, InterruptedException {
    //fs对象创建
    Configuration conf=new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "ma");
    //获取输入流
    FSDataInputStream fis=fs.open(new Path("/hadoop-2.7.2.tar.gz"));

    //设置指定读取起点
    fis.seek(1024*1024*128);

    //获取输出流
    FileOutputStream fos=new FileOutputStream(new File("D:\\Big_Data\\Hadoop_Test_file\\1hadoop-2.7.2.tar.gz"));
    //流的拷贝（下载第二块）
    IOUtils.copyBytes(fis,fos,conf);
    //关闭
    IOUtils.closeStream(fis);
    IOUtils.closeStream(fos);
    fs.close();
}

文件合并

在Window命令窗口中进入到目录E:\，然后执行如下命令，对数据进行合并

type hadoop-2.7.2.tar.gz.part2 >> hadoop-2.7.2.tar.gz.part1

第4章 HDFS的数据流（面试重点）

4.1 HDFS写数据流程

4.1.1 剖析文件写入

客户端通过Distrbuted Filesystem模块向NameNode申请上传文件，NameNode检查目标文件是否已存在，父目录是否存在
NameNode返回是否可以上传
客户端请求第一个Block上传到哪几个DataNode服务器上
NameNode返回三个DataNode节点，分别为1，2，3
客户端通过Fsdataoutputstream模块请求1上传数据，1收到请求会继续调用2，然后2调用3，将这个通信管道建立完成
1，2，3逐级应答客户端
客户端开始往1上传第一个Block，以packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。

4.1.2 网络拓扑-节点距离计算

那节点最近距离怎么计算呢？

节点距离：两个节点到达最近的共同祖先的距离总和

4.1.3 机架感知（副本存储节点选择）

官方ip地址

机架感知说明

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication

Hadoop2.7.2副本节点选择

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DzEfjEHn-1660574903958)(C:\Users\kangz\AppData\Roaming\Typora\typora-user-images\image-20220428095334498.png)]

4.2 HDFS读数据流程

客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

第5章 NameNode和SecondaryNameNode（面试开发重点）

5.1 NN和2NN工作机制

5.2 Fsimage和Edits解析

5.3 CheckPoint时间设置

5.4 NameNode故障处理

方法一：将secondaryNameNode中数据拷贝到NameNode存储数据的目录

方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。

5.5集群安全模式

基本语法

集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。

（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）

（2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）

（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）

（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）

5.6 NameNode多目录配置

NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性

第6章 DataNode（面试开发重点）

6.1 DataNode工作机制

6.2 数据完整性

6.3 掉线时限参数设置

6.4 服役新数据节点

6.5 退役旧数据节点

6.5.1 添加白名单

添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出

6.5.2 黑名单退役

在黑名单上面的主机都会被强制退出

6.6 Datanode多目录配置

DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本
具体配置如下

hdfs-site.xml

<property>
        <name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

第7章 HDFS 2.X新特性

7.1 集群间数据拷贝

scp实现两个远程主机之间的文件复制

scp -r hello.txt root@hadoop103:/user/atguigu/hello.txt // 推 push

scp -r [root@hadoop103:/user/atguigu/hello.txt hello.txt](mailto:root@hadoop103:/user/atguigu/hello.txt hello.txt) // 拉 pull

scp -r root@hadoop103:/user/atguigu/hello.txt root@hadoop104:/user/atguigu //是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。

采用distcp命令实现两个Hadoop集群之间的递归数据复制

[atguigu@hadoop102 hadoop-2.7.2]$  bin/hadoop distcp
hdfs://haoop102:9000/user/atguigu/hello.txt hdfs://hadoop103:9000/user/atguigu/hello.txt

7.2 小文件存档

HDFS存储小文件弊端
每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文
件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件
所需要的磁盘容量和数据块的大小无关。例如，一个1MB的文件设置为128MB的块存储，实
际使用的是1MB的磁盘空间，而不是128MB。
解决存储小文件办法之一
HDFS存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减
少NameNode内存使用的同时，允许对文件进行透明的访问。具体说来，HDFS存档文件对内
还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
案例实操

（1）需要启动YARN进程

start-yarn.sh

（2）归档文件

把/user/atguigu/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/user/atguigu/output路径下。

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop archive -archiveName input.har –p /user/atguigu/input  /user/atguigu/output

（3）查看归档

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr /user/atguigu/output/input.har

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr har:///user/atguigu/output/input.har

（4）解归档文件

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -cp har:/// user/atguigu/output/input.har/*  /user/atguigu

7.3 回收站

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。

回收站参数设置及工作机制

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-G0qKlWTz-1660574903959)(C:\Users\kangz\AppData\Roaming\Typora\typora-user-images\image-20220429220846278.png)]

启用回收站

修改core-site.xml，配置垃圾回收时间为1分钟。

<property>
   <name>fs.trash.interval</name>
<value>1</value>
</property>

查看回收站

回收站在集权中的路径：/user/ma/.Trash/

修改访问垃圾回收站用户

进入垃圾回收站用户名称。默认是dr.who,修改为ma用户

[core-site.xml]
<property>
  <name>hadoop.http.staticuser.user</name>
  <value>atguigu</value>
</property>

通过程序删除的文件不会经过回收站，需要调用moveToTrash()才能进入回收站

Trash trash = New Trash(conf);

trash.moveToTrash(path);

恢复回收站数据

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -mv
/user/atguigu/.Trash/Current/user/atguigu/input    /user/atguigu/input

清空回收站

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -expunge