利用 hadoop 的 FileSystem open 方法获取 FSDataInputStream 实现文件下载到本地 Hadoop 版本 2.7.0

最新推荐文章于 2024-10-09 10:53:13 发布

-点点滴滴-

最新推荐文章于 2024-10-09 10:53:13 发布

阅读量5.1k

点赞数

分类专栏： Hadoop HDFS 2.7 文章标签： Hadoop HDFS 下载 IO流操作

本文链接：https://blog.csdn.net/dongbeiMan/article/details/51766860

版权

Hadoop 同时被 3 个专栏收录

11 篇文章 1 订阅

订阅专栏

HDFS

11 篇文章 0 订阅

订阅专栏

2.7

10 篇文章 0 订阅

订阅专栏

利用 hadoop 的 FileSystem open 方法获取 FSDataInputStream 实现文件下载到本地 Hadoop 版本 2.7.0

代码

package com.feng.test.hdfs.filesystem;

import java.io.FileOutputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
 * 下载文件 远程调用机器 需要 liunx 修改 /etc/hosts 添加 10.11.12.4 master
 * 
 * @author feng
 *
 */

public class DownloadFile {

    public static void main(String[] args) {
        FileSystem hdfs = null;
        FSDataInputStream fsdInputStream = null;
        FileOutputStream fos = null;
        try {
            String fsrc = "/feng/tmp/1462950193038";
            String destDir = "/Users/feng/Downloads/83.txt";

            Configuration config = new Configuration();
            // 程序配置
            config.set("fs.default.name", "hdfs://master:9000");

            hdfs = FileSystem
                    .get(new URI("hdfs://master:9000"), config, "feng");

            Path srcPath = new Path(fsrc);
            fsdInputStream = hdfs.open(srcPath);

            fos = new FileOutputStream(destDir);

            byte[] buff = new byte[1024];
            int readCount = 0;
            readCount = fsdInputStream.read(buff);
            while (readCount != -1) {
                fos.write(buff, 0, readCount);
                readCount = fsdInputStream.read(buff);
            }

            System.out.println("It is over !");
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if(fos != null){
                try{
                    fos.close();
                }catch(Exception e){
                    e.printStackTrace();
                }
            }
            if(fsdInputStream != null){
                try{
                    fsdInputStream.close();
                }catch(Exception e){
                    e.printStackTrace();
                }
            }
            if (hdfs != null) {
                try {
                    hdfs.closeAll();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }

}