hadoop 运行mahout 问题小结(二)

hadoop 成功运行mahout 的example之后,尝试运行mahout的kmeans算法。

过程中出现问题。

首先,依旧是classNotFound错误。

  此错误,可以使用前面(一)中方法解决,将mahout的lib文件夹下的  .jar 文件 复制到hadoop的common 文件夹中。

  另外想到一种应该可以的方法,就是将mahout的lib等相关路径放加入到PATH变量中,不过个人测试貌似不可以,这个还要进一步的思考或者大神解答。


其次,mahout中的算法的输入数据是要经过处理的。

  要将mahout的处理数据进行序列化。

public class Text2VectorWritable extends AbstractJob{


public static void main(String[] args) throws Exception{
ToolRunner.run(new Configuration(), new Text2VectorWritable(),args);
}

@Override
public int  run(String[] arg0) throws Exception{
addInputOption();
addOutputOption();

if (parseArguments(arg0) == null) {
return -1;
}

Path input=getInputPath();
Path output=getOutputPath();
Configuration conf=getConf();
//set job information

Job job=new Job(conf,"text2vectorwritablecopy with input"+input.getName());
job.setOutputFormatClass(Seq

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值