使用FileSystem自带的api读取hdfs中的文件

博客搬家自https://my.oschina.net/itsyizu/blog/
1. 创建hadoop MapReduce项目

1. 输入项目名称

1. 创建好的项目初始化状态如下

1. 编写java类

import java.io.IOException;
import java.io.InputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class ReadFileUseFSAPI {
    public static void main(String [] args) throws IOException {
    String urlString=args[0];
    Configuration conf=new Configuration();
    FileSystem fSystem=FileSystem.get(URI.create(urlString),conf);
    InputStream inputStream=null;
    try {
        inputStream=fSystem.open(new Path(urlString));
        IOUtils.copyBytes(inputStream, System.out, conf);

    } catch (Exception ex) {
        System.out.println(ex.getMessage());
    }finally{
        IOUtils.closeStream(inputStream);
    }
    }
}

1. 设置运行的参数

1. 运行的结果

1. 感觉使用FILESYSTEM的API读取文件的效率比较低

转载于:https://www.cnblogs.com/shugen/p/6862978.html