在Hadoop分布式集群环境下Mahout安装和运行K-means、协同过滤实例

在Hadoop分布式集群环境下Mahout安装和运行Kmean、协同过滤实例

 

友情提醒：大家最好通读一遍过后，在理解的基础上按照步骤一步一步设置，因为后面的会对前面的有所启示。

注意：mahout运行对于环境要求很严格，JDK:jdk-7u55-linux-x64.tar,MAVEN:apache-maven-3.2.1-bin.tar,MAHOUT:mahout-distribution-0.9-tar.gz，HADOOP:hadoop-1.2.1.tar.gz (mahout0.9 依赖于hadoop1.0以上的版本，否则运行起来会出现各种报错！！！)

一、前提条件

Hadoop1.2.1分布式集群环境搭建成功，并且Hadoop集群服务器正常运行。

二、所需环境和软件

1. Hadoop分布式集群环境：

见《在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境》。

2.  Maven3.2.1  apache-maven-3.2.1-bin.tar.gz下载地址：http://maven.apache.org/

3. Mahout0.9框架： mahout-distribution-0.9.tar.gz

4. 测试数据(自行下载，并另存为 synthetic_control.data.txt 格式)：

http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data

三、安装Mahout和Maven

1. 拷贝下载下来的mahout-distribution-0.9.tar.gz包，和apache-maven-3.2.1-bin.tar.gz到Hadoop集群的masters机器的桌面上。

2. 解压mahout-distribution-0.9.tar.gz包，解压有二种方法。

方法一：分别使用命令 tar -zxvf mahout-distribution-0.9.tar.gz和tar -zxvf apache-maven-3.2.1-bin.tar.gz

       

3. 移动生成的mahout-distribution-0.9和maven-3.2.1文件夹到mahout（新建一个mahout文件夹，使用指令：mkdir mahout）下,。

sudo mv mahout-distribution-0.9 mahout

sudo  mvmaven-3.2.1    maven    （名字太长了，把它改成mahout）

sudo  mv mahout/home/hadoop/mahout/