在/home/china/hadoop(也就是你装hadoop的目录下)执行以下命令:
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/china
bin/hdfs dfs -mkdir /user/china/input
创建.java文件:
vim mapreduce.java
提示:
i:插入,编辑内容
esc:退出编辑
:wq保存并退出文件
在这个文件夹下执行命令打包:
jar cvf mapreduce.jar ./mapreduce*.class
ls查看是不是生成了.jar文件
找到f1.txt,f2.txt两个文件所在目录(也就是你执行代码要输入的东西所在目录),将其上传至hdfs:
bin/hdfs dfs -put /home/china/dataset/mapreduce_input/*.txt /user/china/input
查看是否已经在该目录下:
bin/hdfs dfs -ls /user/china/input
编译执行(注意:这里的mapreduce.jar这个包需要在/home/china/hadoop下,也就是你装hadoop的目录,如果mapreduce.jar在/home/china/hadoop/mapeduce/mapreduce.jar,那么相应的就改为/mapreduce/mapreduce.jar):
bin/hadoop jar mapreduce.jar mapreduce /user/china/input/*.txt /user/china/output
查看输出文件:
bin/hdfs dfs -cat /user/china/output/*