大数据技术之Hadoop(HDFS知识回顾)

HDFS概述

—HDFS产生背景以及定义—

产生背景

    随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

定义

    HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
    HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变

—HDFS优缺点—

HDFS优点

HDFS缺点

HDFS文件块大小

—HDFS组成架构—

HDFS常用shell操作命令

—HDFS上传操作命令—

① -moveFromLocal：从本地剪切粘贴到HDFS
② -copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
③ -put：等同于copyFromLocal，生产环境更习惯用put
④ -appendToFile：追加一个文件到已经存在的文件末尾

—HDFS下载操作命令—

① -copyToLocal：从HDFS拷贝到本地
② -get：等同于copyToLocal，生产环境更习惯用get

—HDFS直接操作命令—

① -ls: 显示目录信息 hadoop fs -ls / 查看根目录下的文件
② -cat：显示文件内容
③ -chgrp、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
④-mkdir：创建路径
⑤-cp：从HDFS的一个路径拷贝到HDFS的另一个路径
⑥-mv：在HDFS目录中移动文件
⑦-rm：删除文件或文件夹

HDFS的API操作

说明：常见操作都包含在下方HdfsClient.java里，参考下方使用场景即可

public class HdfsClient {

    private FileSystem fs;


    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {

        //连接集群的地址
        URI uri = new URI("hdfs://hadoop102:8020");

        //创建配置文件
        Configuration configuration = new Configuration();

        configuration.set("dfs.replication", "3");

        //创建用户对象
        String user = "lcl";


        //获取客户端对象
        fs = FileSystem.get(uri, configuration, user);


    }

    @After
    public void close() throws IOException {

        //资源关闭
        fs.close();
    }

    //创建目录
    @Test
    public void testMkdir() throws URISyntaxException, IOException, InterruptedException {

        /*//连接集群的地址
        URI uri = new URI("hdfs://hadoop102:8020");

        //创建配置文件
        Configuration configuration = new Configuration();

        //创建一个用户对象
        String user = "lcl";

        //1.获取到客户端对象
        FileSystem fs = FileSystem.get(uri, configuration,user);*/

        //2.执行相关命令操作
        fs.mkdirs(new Path("/wcoutput"));

        //3.关闭资源
        //fs.close();
    }


    /**
     * 参数优先级：
     * hdfs-default.xml ==> hdfs-site.xml ==> 项目资源配置里 ==> 代码里的配置
     * 例如：修改副本数
     *
     * @throws IOException
     */

    //上传文件
    @Test
    public void testPut() throws IOException {

        //参数含义：参数一：是否删除原数据；参数二：是否允许覆盖;参数三，参数四：表示源地址和目标地址
        fs.copyFromLocalFile(false, true, new Path("D:\\jiabaoyu.txt"), new Path("/hongloumeng/"));

    }

    //文件下载
    @Test
    public void testGet() throws IOException {
        /** 参数解读
         * delsrc:源文件是否删除   参数二：源路径    参数三：目标路径 参数四：进行校验
         */
        fs.copyToLocalFile(false, new Path("/hongloumeng/jiabaoyu.txt"), new Path("D:\\"), false);
    }

    //文件删除
    @Test
    public void testDelete() throws IOException {
        /**参数解读
         * 参数一：删除路径
         * 参数二：是否递归删除，如果是非空文件夹的是时候需要进行递归删除
         */
        //删除空目录
        //fs.delete(new Path("/wcoutput"),false);

        //删除非空目录进行递归删除[使用非递归删除会报错误]
        fs.delete(new Path("/hongloumeng"), true);
    }

    //文件的更名和移动
    @Test
    public void testRemove() throws IOException {

        //参数说明：源文件路径；   参数二：目标文件路径
        //fs.rename(new Path("/wcinput"),new Path("/input"));

        //文件的更名
        fs.rename(new Path("/input/word.txt"), new Path("/input/NewWord.txt"));
    }

    //获取文件的详细信息
    @Test
    public void fileDetail() throws IOException {

        //获取所有文件[文件路径，是否递归遍历]
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);

        while (listFiles.hasNext()) {
            LocatedFileStatus fileStatus = listFiles.next();

            System.out.println("========" + fileStatus.getPath() + "========");
            System.out.println(fileStatus.getPermission());
            System.out.println(fileStatus.getOwner());
            System.out.println(fileStatus.getGroup());
            System.out.println(fileStatus.getLen());
            System.out.println(fileStatus.getModificationTime());
            System.out.println(fileStatus.getReplication());
            System.out.println(fileStatus.getBlockSize());
            System.out.println(fileStatus.getPath().getName());

            System.out.print("文件的详细路径：");
            System.out.println(Arrays.toString(fileStatus.getBlockLocations()));
        }
    }

    //上传文件
    @Test
    public void testPutWord() throws IOException {

        fs.copyFromLocalFile(true, false, new Path("D:\\lcl.txt"), new Path("/"));

    }

    //返回文件和文件夹的类型
    @Test
    public void testFile() throws IOException {

        FileStatus[] fileStatuses = fs.listStatus(new Path("/"));

        for (FileStatus file : fileStatuses) {

            //判断是文件的情况
            if (file.isFile()) {
                System.out.println("文件：" + file.getPath().getName());
            } else {
                System.out.println("目录：" + file.getPath().getName());
            }
        }
    }
}

HDFS读写流程

—HDFS写入数据流程—

（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
（2）NameNode返回是否可以上传。
（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。
（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
（6）dn1、dn2、dn3逐级应答客户端。
（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。

—HDFS读取数据流程—

（1）客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
（2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
（3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
（4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。