Hadoop的环境一旦搭建完成,我们就可以进行Hadoop应用开发了,可以进行Hadoop开发的程序语言有多种选择,比如JAVA,python,ruby等等。这里我们选择JAVA语言进行开发(语言无所谓好坏,看你擅长什么喜欢什么了)。
因为我选择了JAVA语言,也就选择了eclipse开发工具,这里我用的是eclipse-java-oxygen-R-win32-x86_64,当然,Hadoop也为eclipse开发了一款插件,hadoop-eclipse-plugin-2.7.1.jar,我们可以下载并安装在eclipse中。
Hadoop库集成
Hadoop库已经在我们的安装目录下了,比如我的安装目录:C:\Programs\hadoop-2.7.1\share\hadoop。
- 打开eclipse,Window=>Preference=>Java=>Build Path=>User Libraries
- 点击New,新建一个库,注意此处红色标注的复选框一定不要勾选,命名我就取Hadoop了。
- 此时我们会看到User Libraries里面多了一个hadoop的Library,我们接下来便要向这个Library里面添加jar包了,我们点击“Add External JARs…”,会弹出文件对话框,让你选择导入的jar。
- 添加Hadoop的common库,一共有3个
- 添加Hadoop的common的lib库,一共有63个
- 添加Hadoop的hdfs库,一共有3个
- 添加Hadoop的mapreduce库,一共有8个
- 点击Apply and Close完成Hadoop包的导入工作
创建Java项目
- eclipse创建一个普通的Java项目,名称为HadoopDemo
- 创建成功的项目包含jre和src目录
- 在项目跟目录上右键选择Build Path=>Configure Build Path