[size=x-large]介绍[/size]
本页主要描述,怎么在hadoop集群上运行Mahout Taste的推荐器
[size=x-large]步骤[/size]
[size=large]在那单个机器上测试[/size]
进入事例目录,执行:
[size=large]在集群上运行[/size]
1.进入$MAHOUT_HOME/,编辑jar包(mvn install),将在$MAHOUT_HOME/core/target/生成,并且名称包含版本号。例如当使用Mahout 0.3 release,将生成mahout-core-0.3.jar
2.(可选)启动hadoop:
3.上传数据
$HADOOP_HOME/bin/hadoop fs -put <PATH TO DATA> testdata
4.运行任务:
5.从HDFS得到输出数据,并且查看。使用
查看所有的output文件
[size=large]命令行选项[/size]
在命令行使用"--help" 得到完整的命令行选项摘要信息。或者在javadoc中"Job"类下查看
补充:
运行的完整例子
原文地址:https://cwiki.apache.org/confluence/display/MAHOUT/TasteCommandLine
本页主要描述,怎么在hadoop集群上运行Mahout Taste的推荐器
[size=x-large]步骤[/size]
[size=large]在那单个机器上测试[/size]
进入事例目录,执行:
mvn -q exec:java -Dexec.mainClass="org.apache.mahout.cf.taste.hadoop.pseudo.RecommenderJob" -Dexec.args="<OPTIONS>"
[size=large]在集群上运行[/size]
1.进入$MAHOUT_HOME/,编辑jar包(mvn install),将在$MAHOUT_HOME/core/target/生成,并且名称包含版本号。例如当使用Mahout 0.3 release,将生成mahout-core-0.3.jar
2.(可选)启动hadoop:
$HADOOP_HOME/bin/start-all.sh
3.上传数据
$HADOOP_HOME/bin/hadoop fs -put <PATH TO DATA> testdata
4.运行任务:
$HADOOP_HOME/bin/hadoop jar $MAHOUT_HOME/core/target/mahout-core-<MAHOUT VERSION>.job org.apache.mahout.cf.taste.hadoop.<JOB> <OPTIONS>
5.从HDFS得到输出数据,并且查看。使用
bin/hadoop fs -lsr output
查看所有的output文件
[size=large]命令行选项[/size]
在命令行使用"--help" 得到完整的命令行选项摘要信息。或者在javadoc中"Job"类下查看
补充:
运行的完整例子
hadoop jar mahout-core-0.4-job.jar org.apache.mahout.cf.taste.hadoop.pseudo.RecommenderJob -i mahout-testing.txt -o out --recommenderClassName org.apache.mahout.cf.taste.impl.recommender.slopeone.SlopeOneRecommender
原文地址:https://cwiki.apache.org/confluence/display/MAHOUT/TasteCommandLine