HDFS(一)

一：HDFS概念

1.1 产生背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

1.2 HDFS定义

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

1.3 优缺点

优点：

（一）高容错性：数据自动保存多个副本。它通过增加副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复。

（二）适合处理大数据：

数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；

文件规模：能够处理百万规模以上的文件数量，数量相当之大。

（三）可构建在廉价机器上，通过多副本机制，提高可靠性。

缺点：

（一）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。

（二）无法高效的对大量小文件进行存储。

➢存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；

➢小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。

（三）不支持并发写入、文件随机修改。

➢一个文件只能有一个写，不允许多个线程同时写；

➢仅支持数据append（追加），不支持文件的随机修改。

1.4 组成架构

一：NameNode（nn）：就是Master，它是一个主管、管理者。（老板）

（1）管理HDFS的名称空间；

（2）配置副本策略；

（3）管理数据块（Block）映射信息；

（4）处理客户端读写请求。

二：DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。（员工）

（1）存储实际的数据块；

（2）执行数据块的读/写操作。

三：Client：就是客户端。 （甲方）

（1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；（2）与NameNode交互，获取文件的位置信息；

（3）与DataNode交互，读取或者写入数据；

（4）Client提供一些命令来管理HDFS，比如NameNode格式化；

（5）Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；

四：Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。（秘书）

（1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode；（2）在紧急情况下，可辅助恢复NameNode。

1.5 HDFS文件块大小

思考：为什么块的大小不能设置太小，也不能设置太大？

（1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；

（2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。

总结：HDFS块的大小设置主要取决于磁盘传输速率。

 二：HDFS的Shell操作

2.1 基本语法

hadoop fs 具体命令   或者     hdfs dfs 具体命令

两个命令是完全相同的。

bin/hadoop fs            ------命令大全

2.2 上传

1）-moveFromLocal：从本地剪切粘贴到HDFS

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -moveFromLocal ./shuguo.txt /sanguo 

2）-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -copyFromLocal weiguo.txt /sanguo 

3）-put：等同于copyFromLocal，生产环境更习惯用put

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -put ./wuguo.txt /sanguo 

4）-appendToFile：追加一个文件到已经存在的文件末尾

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

2.3 下载

1）-copyToLocal：从HDFS拷贝到本地

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo.txt ./

2）-get：等同于copyToLocal，生产环境更习惯用get

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

三：HDFS的API操作

（一）配置HADOOP_HOME环境变量

（二）配置Path环境变量。

（三）在IDEA中创建一个Maven工程（这个需要去配置一下Maven），并导入相应的依赖坐标+日志添加

<dependencies>  
<dependency>  
<groupId>org.apache.hadoop</groupId>  
<artifactId>hadoop-client</artifactId>  
<version>3.1.3</version>  
</dependency>  
<dependency>  
<groupId>junit</groupId>  
<artifactId>junit</artifactId>  
<version>4.12</version>  
</dependency>  
<dependency>  
<groupId>org.slf4j</groupId> 
 <artifactId>slf4j-log4j12</artifactId>  
<version>1.7.30</version>  
</dependency> 
</dependencies> 

（四）在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入

log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

（五）创建HdfsClient类（获取客户端对象）

@Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        //连接的集群nn地址
        URI uri=new URI("hdfs://hadoop102:8020");
        //创建一个配置文件
        Configuration configuration=new Configuration();

        //修改优先级
        configuration.set("dfs.replication","2");

        //用户
        String user="axing";
        //1.获取到了客户端对象
         fs= FileSystem.get(uri, configuration,user);
    }
    @After
    public void close() throws IOException {
        //3.关闭资源
        fs.close();
    }

（六）API案例实操

//创建目录
    @Test
    public void testmkdir() throws URISyntaxException, IOException, InterruptedException {
        //2.创建一个文件夹
        fs.mkdirs(new Path("/xiyou/huaguoshan1"));
    }
    //上传
    @Test
    /**
     * 参数优先级
     * hdfs-default.xml（最低） => hdfs-site.xml => 在项目资源目录下的配置文件 => 代码里面的配置（最高）
     */

    public void testPut() throws IOException {
        //参数解读
        //参数一：是否删除原数据
        //参数二：是否覆盖
        //参数三：原数据路径
        //参数四：目的地路径
        fs.copyFromLocalFile(true,true,new Path("D:\\sunwukong.txt"),new Path("hdfs://hadoop102:/xiyou/huaguoshan"));

    }
    //文件下载
    @Test
    public void testGet() throws IOException {
        //参数解读
        //参数一：是否删除原数据
        //参数二：源文件路径HDFS
        //参数三：目标地址路径Win
        //参数四：是否开启本地校验
        fs.copyToLocalFile(true,new Path("hdfs://hadoop102/xiyou/huaguoshan"),new Path("D:\\"),true);
    }

    //删除
    @Test
    public void testRm() throws IOException {
        //参数解读
        //参数一：要删除的路径
        //参数二：是否递归删除

        //删除文件
        fs.delete(new Path("/jdk-8u212-linux-x64.tar.gz"),false);

        //删除空目录
        fs.delete(new Path("/xiyou"),false);
        //删除非空目录
        fs.delete(new Path("/jinguo"),true);
    }

    //文件的更名和移动
    @Test
    public void testMv() throws IOException {
        //参数解读
        //参数一：原文件路径
        //参数二：目标文件路径

        //对文件名称的修改
    //    fs.rename(new Path("/input1/word.txt"),new Path("/input1/ss.txt"));

        //文件的移动和更名
     //   fs.rename(new Path("/input1/ss.txt"),new Path("/cls.txt"));

        //目录更名
        fs.rename(new Path("/input1"),new Path("/output1"));
    }

    //获取文件详细信息
    @Test
    public void fileDetail() throws IOException {

        //获取所有文件信息
        RemoteIterator<LocatedFileStatus> listFiles=fs.listFiles(new Path("/"),true);

        //遍历文件
        while(listFiles.hasNext()){
            LocatedFileStatus fileStatus=listFiles.next();
            System.out.println("========"+fileStatus.getPath()+"========");
            System.out.println(fileStatus.getPermission());
            System.out.println(fileStatus.getOwner());
            System.out.println(fileStatus.getGroup());
            System.out.println(fileStatus.getLen());
            System.out.println(fileStatus.getModificationTime());
            System.out.println(fileStatus.getReplication());
            System.out.println(fileStatus.getBlockSize());
            System.out.println(fileStatus.getPath().getName());

            //获取块信息
            BlockLocation[] blockLocations=fileStatus.getBlockLocations();
            System.out.println(Arrays.toString(blockLocations));

        }
    }

    //判断是文件夹还是文件
    @Test
    public void testFile() throws IOException {
        FileStatus[] listStatus=fs.listStatus(new Path("/"));

        for(FileStatus status:listStatus){
            if(status.isFile()){
                System.out.println("文件："+status.getPath().getName());
            }else {
                System.out.println("目录："+status.getPath().getName());
            }
        }
    }