HDFS的详细使用

HDFS

1、Shell 操作

上传

• -moveFromLocal：从本地剪切粘贴到 HDFS
  • hadoop fs -moveFromLocal 本地文件 HDFS目录
• -copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去
  • hadoop fs -copyFromLocal 本地文件 HDFS目录
• -put：等同于 copyFromLocal，生产环境更习惯用 put
  • hadoop fs -put 本地文件 HDFS目录
• -appendToFile：追加一个文件到已经存在的文件末尾
  • hadoop fs -appendToFile 本地文件 HDFS目录

下载

• -copyToLocal：从 HDFS 拷贝到本地
  • hadoop fs -copyToLocal HDFS目录文件 本地目录
• -get：等同于 copyToLocal，生产环境更习惯用 get
  • hadoop fs -get HDFS目录文件 本地目录

直接操作(和Linux命令功能一样)

• -ls: 显示目录信息
• -cat：显示文件内容
• -chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限
• -mkdir：创建路径
• -cp：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径
• -mv：在 HDFS 目录中移动文件
• -tail：显示一个文件的末尾 1kb 的数据
• -rm：删除文件或文件夹
• -rm -r：递归删除目录及目录里面内容
• -du： 统计文件夹的大小信息
  • hadoop fs -du -s -h HDFS目录（列出该目录的大小信息）
  • hadoop fs -du -h HDFS目录（列出该目录里面文件的大小信息）
• -setrep：设置 HDFS 中文件的副本数量（将该文件的副本数设置为 10 个）
  • hadoop fs -setrep 10 HDFS目录文件

2、API 操作

准备工作

• 添加依赖：创建Maven工程，添加依赖（pom.xml）

  <dependency>
      <!-- 版本号跟自己的Hadoop版本对应 -->
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>3.1.4</version>
  </dependency>
  <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
  </dependency>
  <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-log4j12</artifactId>
      <version>1.7.30</version>
  </dependency>
  

• 添加日志：log4j.properties

  log4j.rootLogger=INFO, stdout 
  log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
  log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
  log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
  log4j.appender.logfile=org.apache.log4j.FileAppender 
  log4j.appender.logfile.File=target/spring.log 
  log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
  log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
  

文件上传

• FileSystem.copyFromLocalFile(...)

  @Test
  public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException {
      // 1 获取文件系统
      Configuration configuration = new Configuration();
      //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
      FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");
  
      // 2 上传文件
      fs.copyFromLocalFile(new Path("D:\\fzk.txt"), new Path("/fzk"));
  
      // 3 关闭资源
      fs.close();
  }
  

文件下载

• FileSystem.copyToLocalFile(...)

  @Test
  public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException {
      // 1 获取文件系统
      Configuration configuration = new Configuration();
      //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
      FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");
  
      // 2 执行下载操作	
      // boolean delSrc 指是否将原文件删除
      // Path src       指要下载的文件路径
      // Path dst       指将文件下载到的路径
      // boolean useRawLocalFileSystem 是否开启文件校验
      fs.copyToLocalFile(false, new Path("/xiyou/huaguoshan/sunwukong.txt"), new Path("d:/sunwukong2.txt"), true);
  
      // 3 关闭资源
      fs.close();
  }
  

修改文件名称

• FileSystem.rename(...)

  @Test
  public void testRename() throws IOException, InterruptedException, URISyntaxException{
      // 1 获取文件系统
      Configuration configuration = new Configuration();
      //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
      FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");
      
      // 2 修改文件名称
      fs.rename(new Path("/xiyou/sunwukong.txt"), new Path("/xiyou/meihouwang.txt"));
      
      // 3 关闭资源
      fs.close();
  }
  

删除文件和目录

• FileSystem.delete(...)

  @Test
  public void testDelete() throws IOException, InterruptedException, URISyntaxException{
      // 1 获取文件系统
      Configuration configuration = new Configuration();
      //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
      FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");
      
      // 2 执行删除
      fs.delete(new Path("/xiyou"), true);
      
      // 3 关闭资源
      fs.close();
  }
  

文件详情查看

• 查看文件名称、权限、长度、块信息

  @Test
  public void testListFiles() throws IOException, InterruptedException, URISyntaxException {
      // 1 获取文件系统
      Configuration configuration = new Configuration();
      //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
      FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");
  
      // 2 获取文件详情
      RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
      while (listFiles.hasNext()) {
          LocatedFileStatus fileStatus = listFiles.next();
          System.out.println("========" + fileStatus.getPath() + "=========");
          System.out.println(fileStatus.getPermission());  //权限
          System.out.println(fileStatus.getOwner());  //拥有者
          System.out.println(fileStatus.getGroup());  //组
          System.out.println(fileStatus.getLen());  //长度
          System.out.println(fileStatus.getModificationTime());  //修改时间
          System.out.println(fileStatus.getReplication());  //文件存存储的副本数
          System.out.println(fileStatus.getBlockSize());  //块的大小 
          System.out.println(fileStatus.getPath().getName());  //名称
          // 获取块信息
          BlockLocation[] blockLocations = fileStatus.getBlockLocations();
          System.out.println(Arrays.toString(blockLocations));  //文件所在的块
      }
  
      // 3 关闭资源
      fs.close();
  }
  

文件和文件夹判断

• FileSystem.isFile()

  @Test
  public void testListStatus() throws IOException, InterruptedException, URISyntaxException {
      // 1 获取文件配置信息
      Configuration configuration = new Configuration();
      //(URI uri) 和 (String user) 两个参数按照自己的配置相应的修改
      FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");
  
      // 2 判断是文件还是文件夹
      FileStatus[] listStatus = fs.listStatus(new Path("/"));
      for (FileStatus fileStatus : listStatus) {
          // 如果是文件
          if (fileStatus.isFile()) {
              System.out.println("文件:" + fileStatus.getPath().getName());
          } else {
              System.out.println("目录:" + fileStatus.getPath().getName());
          }
      }
  
      // 3 关闭资源
      fs.close();
  }
  

修改参数方法

• 1、客户端代码中设置的值：Configuration.set(key, value)

  // 1 获取文件系统
  Configuration configuration = new Configuration();
  //设置 dfs.replication 的数量为 2
  configuration.set("dfs.replication", "2");  
  FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.151:8020"), configuration, "root");
  

• 2、ClassPath 下的用户自定义配置文件

  • 将 hdfs-site.xml 拷贝到项目的 resources 资源目录下

    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
        <!-- 设置 dfs.replication 的数量为 1 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>
    

• 3、然后是服务器的自定义配置（xxx-site.xml）

• 4、服务器的默认配置（xxx-default.xml）

参数优先级

• 优先级从高到低
  • 客户端代码中设置的值
  • ClassPath 下的用户自定义配置文件
  • 然后是服务器的自定义配置（xxx-site.xml）
  • 服务器的默认配置（xxx-default.xml）