mahout聚类实例

最新推荐文章于 2021-12-30 14:44:37 发布

asin929

最新推荐文章于 2021-12-30 14:44:37 发布

阅读量2.2k

点赞数 1

分类专栏： Mahout 文章标签： mahout 聚类

本文链接：https://blog.csdn.net/u012948976/article/details/50263343

版权

本文详述了使用Mahout进行数据预处理、聚类以及查看结果的过程。首先介绍了数据准备，强调每行数据代表一组特征值。接着，讨论了数据预处理的步骤，包括如何将数据转换为RandomAccessSparseVector并解释了Key值的含义。进一步提供了修改InputMapper.java以改变Key为行id的方法。然后，展示了如何执行聚类操作，包括设置输入、输出路径、初始中心点、分类个数和最大迭代次数。最后，解释了结果查看的内容，包括聚类ID、中心坐标、半径和每个类包含的点的详细信息，并演示了如何将结果保存为CSV文件和进行聚类结果评价。

摘要由CSDN通过智能技术生成

数据准备

一般的初始数据如下所示，每行代表一组特征值。

数据预处理

mahout org.apache.mahout.clustering.conversion.InputDriver -i /user/hdfs/cluster_all/test4/text -o /user/hdfs/cluster_all/test4/text-vector

可以在上述命令后添加参数“-v option ”转为需要的向量格式。比如org.apache.mahout.math.RandomAccessSparseVector”表示转为RandomAccessSparseVector。

使用seqdumper查看转换后的数据，

mahout seqdumper -i /user/hdfs/cluster_all/test4/text-vector/part-m-00000 -o ./text-vector

结果为：

Key: 3: Value: {0:28.0,1:38.0,2:88.0}
Key: 3: Value: {0:88.0,1:88.0,2:88.0}
Key: 3: Value: {0:8.0,1:88.0,2:89.0}
Key: 3: Value: {0:8.0,1:78.0,2:80.0}
Count: 4

特别注意；上述的Key值并不是指