1. hadoop jar MapReduce-1.0-SNAPSHOT.jar cn.itcast.dedup.DedupDriver /input1 /output出现以下错误:
解决方法:
首先,运行 hadoop classpath
其次,在etc/hadoop目录下 vi mapred-site.xml ,将 ${full path of your hadoop distribution directory}全部替换成classpath 中的路径。重新执行hadoop jar MapReduce-1.0-SNAPSHOT.jar cn.itcast.dedup.DedupDriver /input1 /output。
2.重新执行hadoop jar MapReduce-1.0-SNAPSHOT.jar cn.itcast.dedup.DedupDriver /input1 /output,如果再一次报错:
此时解决方法:
hadoop 处于安全模式,所以需要退出安全模式,一般以如下方法可以解决:
hdfs dfsadmin -safemode leave
然后,执行hadoop jar MapReduce-1.0-SNAPSHOT.jar cn.itcast.dedup.DedupDriver /input1 /output,就成功了。
在Intellij IDEA中查看,output中出现如下文件,即表示执行成功了。