Apache Mahout的KMeans算法测试

Mahout是Hadoop中实现数据挖掘的包，虽然现在一般用spark mlib，但是为了做比较，想着将mahout的算法进行验证测试一下。。

Mahout的安装还是非常简单的，只需要解压一下再进行如下配置就可以。

# Mahout
export MAHOUT_HOME=/home/ndscbigdata/soft/mahout-0.11.0
export PATH=$MAHOUT_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:$MAHOUT_HOME/lib

由于算法有很多博客或者书籍上均有介绍，所以在此就不再重复。

其中Kmeans算法测试采用网上流行的"syntheticcontrol"数据集来实现。而关于这个数据集mahout提供了三种算法，如下所示：

因此进行kmeans测试，其结果如图所示。

对结果进行分析比较，发现基于hadoop的迭代数据挖掘效率还是非常低下的，它每次都要将中间聚类结果存储在DISK中。