在spark中用k-means做聚类，利用t-sne做可视化

最新推荐文章于 2023-05-28 17:22:08 发布

Good_Spark

最新推荐文章于 2023-05-28 17:22:08 发布

阅读量605

点赞数 1

文章标签： spark kmeans 聚类

本文链接：https://blog.csdn.net/qq_31823889/article/details/127640569

版权

在spark中用k-means做聚类，利用t-sne做可视化

from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
import pandas as pd

mdl_new = pd.read_csv("D:\\data\\resFea\\resFea.csv")
mdl_new22 = pd.read_csv("D:\\data\\resFea\\resFea22.csv")

r1 = pd.concat([mdl_new, pd.Series(mdl_new22['_2'], index = mdl_new.index)], axis = 1)
# r1.columns = list(mdl_new.columns) + [u'聚类类别'] #重命名表头
r1.columns = list(mdl_new.columns) + [u'_2'] #重命名表头

def plot_points(colors):
    #这个方法的聚类效果并不好，无法区分各个类别,弃用
    tsne = TSNE(n_components=2, perplexity=5)
    tsne = pd.DataFrame(tsne.fit_transform(mdl_new)) #转换数据格式
    plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
    plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
    #不同类别用不同颜色和样式绘图
    d = tsne[r1[u'_2'] == 0]
    plt.plot(d[0], d[1], 'y.')
    d = tsne[r1[u'_2'] == 1]
    plt.plot(d[0], d[1], 'go')
    d = tsne[r1[u'_2'] == 2]
    plt.plot(d[0], d[1], 'b*')
    d = tsne[r1[u'_2'] == 3]
    plt.plot(d[0], d[1], 'c.')
    d = tsne[r1[u'_2'] == 4]
    plt.plot(d[0], d[1], 'ro')
    d = tsne[r1[u'_2'] == 5]
    plt.plot(d[0], d[1], 'mo')
    
    plt.show()

colors = [
    '#ffc0cb', '#bada55', '#008080', '#420420', '#7fe5f0', '#065535',
    '#ffd700'
]
plot_points(colors)