HDFS的应用开发

1． HDFS的JAVA API操作

HDFS在生产应用中主要是客户端的开发，其核心步骤是从HDFS提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件。

1.1． 搭建开发环境

创建Maven工程，引入pom依赖

<dependencies>

                <dependency>

                        <groupId>org.apache.hadoop</groupId>

                        <artifactId>hadoop-common</artifactId>

                        <version>2.7.4</version>

                </dependency>

                <dependency>

                        <groupId>org.apache.hadoop</groupId>

                        <artifactId>hadoop-hdfs</artifactId>

                        <version>2.7.4</version>

                </dependency>

                <dependency>

                        <groupId>org.apache.hadoop</groupId>

                        <artifactId>hadoop-client</artifactId>

                        <version>2.7.4</version>

                </dependency>

        </dependencies>

        

配置windows平台Hadoop环境

在windows上做HDFS客户端应用开发，需要设置Hadoop环境,而且要求是windows平台编译的Hadoop,不然会报以下的错误:

Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not loca