java访问hdfs_java操作hdfs

摘要

通过从零开始创建一个maven工程，运用HDFS的JAVA API远程操作HDFS文件系统，通过实战提升编程能力。

1：项目创建

1：创建maven项目

打开eclipse—file—new—maven project--next     #选择工作空间，我用的默认

2：配置参数

输入Group Id和Artifact Id，这里输入com.scitc和hdfs，填写完毕后点“Finish”完成工程项目的创建。

3：检查jdk版本    #默认是javase1.5，改成自己的jdk1.8

创建完毕后检查下jdk版本是否正确，在鼠标移动到项目上点鼠标右键 -> Build Path ->Configure Build Path。

弹出一个窗口，选择Java Build Path -> JRE System Library -> Edit

弹出另一窗口，选择Workspace default JRE，Finish完成设置。

接着选择Java Compiler，将JDK版本改为1.8，点Apply后，点OK关闭窗口。

4：检查maven

依次选择window—preferences—maven设置

--选中installations：右边add

E:\java\maven\apache-maven-3.5.0   #这是我的maven的主目录

--选中user settings：右边browse如下内容

global settings：E:\java\maven\repository\settings.xml

user settings： E:\java\maven\repository\settings.xml

local repository： E:\java\maven\repository\maven_jar

#说明：如上三个大家需要根据自己安装的maven目录来选择

到此，maven项目hdfs创建结束，jdk、maven配置结束。

2：项目开发

1：编写jar包依赖pom.xml文件

4.0.0

com.scitc

hdfs

0.0.1-SNAPSHOT

jar

hdfs

http://maven.apache.org

#配置hadoop的版本号，我的是2.7.5

UTF-8

2.7.5

junit

junit

3.8.1

test

org.apache.hadoop

hadoop-mapreduce-client-common

${hadoop.version}

org.apache.hadoop

hadoop-mapreduce-client-jobclient

${hadoop.version}

provided

org.apache.hadoop

hadoop-client

${hadoop.version}

org.apache.hadoop

hadoop-yarn-common

${hadoop.version}

org.apache.hadoop

hadoop-mapreduce-client-core

${hadoop.version}

org.apache.hadoop

hadoop-hdfs

${hadoop.version}

jdk.tools

jdk.tools

1.8

system

${JAVA_HOME}/lib/tools.jar

org.apache.maven.plugins

maven-compiler-plugin

1.8

1.8