API实现HDFS的读写数据流JAVA代码及流程详解

前言

针对Java代码中实现对HDFS文件的读取（FSDataInputStream）与写入（FSDataOutputStream）在工作项目中经常使用；下边就读写流程做一下详细介绍。

环境准备

1.集群配置文件

如图，一般对文件的读取，会将core-site.xml，hdfs-site.xml，slaves文件拷贝到项目的根目录下；
如果项目中涉及到MapReduce的，需要将mapred-site.xml，yarn-site.xml拷贝过来；

2.pom.xml文件

可根据自己的hadoop版本及需求自行添加。github中查询地址请点击

    <repositories>
        <repository>
            <id>alimaven</id>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url