Hadoop2.7.3客户端之Java API上传/下载文件

1. 在Idea或eclipse中创建maven项目
2. 在pom.xml中添加hadoop依赖（请参考前面的博文）
3. 编写测试代码
4. 上传代码

   /**
   * 文件上传：从本地上传文件到HDFS上
   * 思路：
   * 1、明确目的地，Configuration设置HDFS
   * 2、利用FileInputStream，读取本地文件
   * 3、通过FileSystem对象调用create方法，在hdfs创建一个空文件，并返回输出流FSDataOutputStream
   * 4、利用IOUtils将本地文件复制到HDFS对应的目录下
   */
   public static void testUpload() throws IOException {
      //1、明确目的地，Configuration设置HDFS
      Configuration configuration = new Configuration();
      configuration.set("fs.defaultFS","hdfs://hadoop001:9000");
      FileSystem fileSystem = FileSystem.get(configuration);
      //2、利用FileInputStream，读取本地文件
      FileInputStream inputStream = new FileInputStream(new File("D:\\downloadFiles\\part-r-00000"));
      //3、通过FileSystem对象调用create方法，在hdfs创建一个空文件，并返回输出流FSDataOutputStream
      FSDataOutputStream outputStream = fileSystem.create(new Path("/output/part-r-00000"));
      //4、利用IOUtils将本地文件上传到HDFS对应的目录下
      IOUtils.copyBytes(inputStream,outputStream,configuration);
      //5、关闭资源
      fileSystem.close();
      //6、提示
      System.out.println("上传成功~");
   }
   

5. 下载代码

   /**
   * 文件下载：从HDFS上下载一份文件到本机上
   * 思路：
   * 1、明确目的地，Configuration设置HDFS
   * 2、明确本机上的文件存放的位置，利用FileOutputStream
   * 3、通过FileSystem找到目标地址的文件，将目标文件读取到程序，FSDataInputStream
   * 4、利用IOUtils将目标文件复制到本机对应的目录下
   */
   public static void downloadFromHDFS() throws IOException {
     Configuration configuration = new Configuration();
     configuration.set("fs.defaultFS","hdfs://hadoop001:9000");
     FileSystem fileSystem = FileSystem.get(configuration);
   
     //2、明确本机上的文件存放的位置，利用FileOutputStream
     FileOutputStream outputStream = new FileOutputStream(new File("D:\\downloadFiles\\part-r-00000"));
     //3、通过FileSystem找到目标文件
     FSDataInputStream inputStream = fileSystem.open(new Path("/output/part-r-00000"));
     //4、利用IOUtils将目标文件复制到本机对应的目录下
     IOUtils.copyBytes(inputStream,outputStream,configuration);
     //5、关闭资源
     fileSystem.close();
     //6、提示
     System.out.println("下载成功~");
   }