摘要
通过从零开始创建一个maven工程,运用HDFS的JAVA API远程操作HDFS文件系统,通过实战提升编程能力。
1:项目创建
1:创建maven项目
打开eclipse—file—new—maven project--next #选择工作空间,我用的默认
2:配置参数
输入Group Id和Artifact Id,这里输入com.scitc和hdfs,填写完毕后点“Finish”完成工程项目的创建。
3:检查jdk版本 #默认是javase1.5,改成自己的jdk1.8
创建完毕后检查下jdk版本是否正确,在鼠标移动到项目上点鼠标右键 -> Build Path ->Configure Build Path。
弹出一个窗口,选择Java Build Path -> JRE System Library -> Edit
弹出另一窗口,选择Workspace default JRE,Finish完成设置。
接着选择Java Compiler,将JDK版本改为1.8,点Apply后,点OK关闭窗口。
4:检查maven
依次选择window—preferences—maven设置
--选中installations:右边add
E:\java\maven\apache-maven-3.5.0 #这是我的maven的主目录
--选中user settings:右边browse如下内容
global settings:E:\java\maven\repository\settings.xml
user settings: E:\java\maven\repository\settings.xml
local repository: E:\java\maven\repository\maven_jar
#说明:如上三个大家需要根据自己安装的maven目录来选择
到此,maven项目hdfs创建结束,jdk、maven配置结束。
2:项目开发
1:编写jar包依赖pom.xml文件
4.0.0
com.scitc
hdfs
0.0.1-SNAPSHOT
jar
hdfs
http://maven.apache.org
#配置hadoop的版本号,我的是2.7.5
UTF-8
2.7.5
junit
junit
3.8.1
test
org.apache.hadoop
hadoop-mapreduce-client-common
${hadoop.version}
org.apache.hadoop
hadoop-mapreduce-client-jobclient
${hadoop.version}
provided
org.apache.hadoop
hadoop-client
${hadoop.version}
org.apache.hadoop
hadoop-yarn-common
${hadoop.version}
org.apache.hadoop
hadoop-mapreduce-client-core
${hadoop.version}
org.apache.hadoop
hadoop-hdfs
${hadoop.version}
jdk.tools
jdk.tools
1.8
system
${JAVA_HOME}/lib/tools.jar
org.apache.maven.plugins
maven-compiler-plugin
1.8
1.8