Hadoop初级入门 MapReduce程序执行集群执行

一个Hadoop程序执行过程

1. 把Map/Reduce程序打成Jar包，放在映射目录/test/zhu中
2. 登录mcxl3，用zhu登录;
3. cd /root/hadoop-0.19.1/
   建立新的文件夹 bin/hadoop dfs -mkdir /user/root/zhu/input
   或者hadoop fs -mkdir /user/root/zhu/input（bin/hadoop dfs与hadoop fs一致）
4. put过程---把要处理的文件New1.txt 放到刚刚建立的dfs文件夹里（这个过程每次实验时，只要数据发生变化都需要重新进行Put）
   hadoop fs -put home/zhu/New1.txt /user/root/zhu/input
5. 执行wordcount的jar包（wordcount.jar放在mclx3的/home/zhu/下面）
   bin/hadoop jar /home/zhu/wordcount.jar wordcount.wordcount /user/root/zhu/input /user/root/zhu/output
6. 查看输出结果前13行结果
   hadoop fs -cat /user/root/zhu/output/part-00000| head -13

附一些有用的命令：

1. 把dfs文件系统上的文件夹目录output1以及目录下的文件删除掉 -rmr
   hadoop fs -rmr /user/root/zhu/output1
2. 新建dfs文件系统上的文件夹目录input
   hadoop fs -mkdir /user/root/zhu/input
3. 执行wordcount的jar包
   bin/hadoop jar /home/zhu/wordcount.jar wordcount.wordcount /user/root/zhu/input /user/root/zhu/output
4. 查看输出结果前13行结果
   hadoop fs -cat /user/root/zhu/output/part-00000| head -13
5. 把HDFS上的文件复制为本地文件（注意命令的大小写）
   hadoop fs -copyToLocal /user/root/zhu/output2 /home/zhu/
6. 把HDFS上的文件复制到本地文件系统
   hadoop fs -get /user/root/zhu/output2 /home/zhu/