Mahout0.9安装(Hadoop2.6.0)

在2.0版本以上的hadoop上使用时, 需要重新编译mahout,  https://mahout.apache.org/developers/buildingmahout.html

$ git clone https://github.com/apache/mahout.git

$ mvn clean package -Dhadoop2 -Dhadoop2.version=2.6.0 -DskipTests=true

编译完成后将编译出来的

\mahout\examples\target\mahout-examples-SNAPSHOT-0.9.jar

\mahout\examples\target\mahout-examples-SNAPSHOT-0.9-job.jar

替换mahout目录中的mahout-examples-0.9.jar, mahout-examples-0.9-job.jar两个文件

设置mahout环境变量

vi .bash_profile

HADOOP_HOME=/home/hduser/hadoop-2.6.0

HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

MAHOUT_HOME=/home/hduser/mahout-distribution-0.9

MAHOUT_CONF_DIR=$MAHOUT_HOME/conf

PATH=$PATH:$HADOOP_HOME/bin:$MAHOUT_HOME/bin

输入mahout测试是否安装成功

下载测试数据集

wget http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data

上传到HDFS

hdfs dfs -put synthetic_control.data ./testdata

启动kmeans算法,开始测试

mahout org.apache.mahout.clustering.syntheticcontrol.kmeans.Job