- 配置环境
生效:
- 启动
3、使用Eclipse:
(1)新建项目:
File-New-JavaProject
填上Project name 选择Next
导入包:
选择Librarises-Add External JARS
(全部过程:)
到usr/local/hadoop/share/hadoop里:
Common里的nfs和common-2.7.1.jar
common里的lib的全选
Hadoop 下的hdfs的最后三个
Mapreduce 第三个之后的全部
Mapreduce下的lib下的全部:
Hadoop下的yarn的第四个开始的全部:
导包全部完成。
(详细过程:)
到usr/local/hadoop/share/hadoop里:
Common里的nfs和common-2.7.1.jar
common里的lib的全选
Hadoop 下的hdfs的最后三个
Mapreduce 第三个之后的全部
Mapreduce下的lib下的全部:
Mapreduce下的lib下的全部:
Hadoop下的yarn的第四个开始的全部:
导包全部完成。
点击finish
(2)编写java应用程序:
点击刚刚创建好的工程Dedup,右键选择New-Class
在Name里输入Java类的名称,然后选择finish:
出现以下界面,点击创建的java即可编译代码:
填写代码:
以去重代码为例:
注意:
改为自己的地址。
运行:run as javaproject
浏览器输入localhost:9000(自己的端口号)
然后在 hadoop 目录下查看/output/part-r-00000
(3)编译打包程序:
在计算机/usr/local/hadoop新建了一个文件夹myapp放要建立的jar 包(jar包可以放在任意位置)
右键选择刚建的项目:export-Java-Runnable JAR file
在该界面中,选择“Runnable JAR file”,然后点Next
弹出下面界面:
“Launch configuration”选择自己的类
在“Export destination”中需要设置JAR包要输出保存到哪个目录
(4)运行jar包
到jar包存放的位置下(myapp目录下)输入命令
Hadoop jar Dedup.jar input output (运行该命令前要把代码中建的output文件夹删了,因为输出文件夹output是自动产生的,所以打包之前运行过,所以已经产生了,
hadoop fs –rm –R /output)
给一个输入文件目录/input 一个输出文件目录/output
查看结果: