用scala写一个K值聚类算法

最新推荐文章于 2021-06-01 17:59:38 发布

码基

最新推荐文章于 2021-06-01 17:59:38 发布

阅读量848

点赞数

分类专栏：算法

本文链接：https://blog.csdn.net/weixin_42756361/article/details/96609221

版权

本文介绍了如何使用Scala编程实现K值聚类算法。首先通过Python生成四组不同的正态分布数据，然后展示了Scala程序的结构，包括点对象类和执行聚类算法的类。最终，结果显示算法在测试数据上的聚类效果，只有一个点被错误分类。

摘要由CSDN通过智能技术生成

参考 github 上spark-master中一个K值聚类算法的案例。作了一些改进。先上效果图。
左图是四个服从不同正态分布的点集（颜色区分）组成的数据集，右图是聚类算法重新对数据进行的分类。
在这里插入图片描述

1 生成数据

为了简化，使用python生成了四组均值为（2,2），（-2,2），（2,-2），（-2,-2），方差均为2的正态分布随机数。

def genNormalDistributionData(mean, cov, num, tag):
    id = np.arange(num)
    id.shape = (1, num)
    id = id + np.ones(num)*tag*1000
    t = np.ones((num, 1))*tag
    NDdata = np.random.multivariate_normal(
        mean, cov, num)
    data = np.concatenate((NDdata, t, id.transpose()), axis=1)
    return data

绘制图片

def showPic(path):
    data = readData(path)
    (row, col) = data.shape
    print(row, col)

    for i in range(row-1):
        if (data[i][2] == 1):
            plt.scatter(data[i][0], data[i][1],  marker='o', c='r')
        if (data[i][2] == 2):
            plt.scatter(data[i][0], data[i][1],  marker='^', c='b')
        if (data[i