mahout学习之聚类（1）——向量的引入与距离测度

聚类的基本概念

聚类就是将一个给定的文档集中的相似项目分成不同簇的过程，可以将簇看作一组簇内相似而簇间有别的项目的集合。
对文档集的聚类涉及以下三件事：
1. 一个算法：将文档集阻止到一起的算法
2. 相似性与不相似的概念
3. 停止的条件

聚类数据的表示

mahout将输入数据以向量的形式保存，在机器学习领域，向量指一个有序的数列，有多个维度，每个维度都有一个值。比如在二维空间，一个坐标就是一个向量。

将数据转换为向量

在mahout中，向量被实现为三个不同的类来针对不同的场景：
1. DenseVector:可以视为一个double型的数组，不管向量是否为0，都会分配空间，被称为密集型的。
2. RandomAccessSparseVector:可以视为一个HashMap（Integer，Double），只为非0元素分配空间，被称为稀疏向量。
3. SequentialAccessSparseVector:实现为两个并列的数组，一个Integer，一个Double，相比于面向随机访问的randomAccessSparseVector，这个更适合顺序读取。
假设有一堆苹果，用形状，大小，颜色作为三个维度来聚类，那么重量可以简单的用克或者千克来测量，大小可以定义小苹果为1，中苹果为2，大苹果为3，颜色可以采取该颜色的波长来表示（400~650nm）,这样三个维度就都是一个有意义且客观的维度值，一堆苹果的向量如下：

其实有一个问题，那就是颜色的差异在距离测度上大于其他两者，可以通过加权来解决这个问题。
以下为一个为各种苹果生成向量的示例代码：

public static void main(String args[]) throws Exception {
        List<NamedVector> apples = new ArrayList<NamedVector>();
        NamedVector apple;
        //将名字与向量相关联
        apple = new NamedVector(
                new DenseVector(new double[] {
  0.11, 510, 1}),
                "Small round green apple");
        apples.add(apple);
        apple = new NamedVector(
                new DenseVector(new double[] {
  0.23, 650, 3}),