mahout-0.5 spectralkmeans找不到AffinityMatrixInputMapper类的错误

在Hadoop运行spectralkmeans算法时，出现错误信息如下，但用mahout0.6却可以运行。

java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.mahout.clustering.spectral.common.AffinityMatrixInputMapper
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:866)
at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:195)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:718)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:369)
at org.apache.hadoop.mapred.Child$4.run(Child.java:259)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)

 

仔细观察运行的日志信息，发现这么一句：

12/07/12 15:53:59 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).

网上一查，原来是在job提交时没有调用setJarByClass方法导致的，对照mahout0.5与0.6的源码，果然是0.5中每个job在提交时都没有调用setJarByClass

解决办法：在每个Job调用job.waitForCompletion(true);之前加入job.setJarByClass(对应的Job.class);重新编译即可。

转载于:https://www.cnblogs.com/bitspark/archive/2012/07/12/2588367.html