机器学习：非监督学习算法：K-means

非监督学习：K-means

假设通过上面的图片人物穿着，来判断一个人的类别。把有相近的特征的人分为一个类别。

K-means 聚类

先将数据进行划分，全部为蓝色，然后通过聚类划分为三个类别。

理解k-means：



图：假设这个数据有两个特征x1，x2，对这一群数据进行聚类，这时候就有一个K值（把数据划分为几个类别），根据K值进行聚类。

步骤：

1.随机在数据当中抽取三个样本，当做三个类别的中心点（k1，k2，k3）
2.计算其余的点分别到这三个中心点的距离，每一个样本有三个距离（a，b，c），从中选出距离最近的一个点作为自己的标记点形成三个族群。
3.分别计算这三个族群的平均值，把三个平均值与之前的旧中心点进行比较。如果相同：结束聚类。如果不相同：把这三个平均值当做新的中心点，重复第二步骤。

总结：k-means

1、随机设置K个特征空间内的点作为初始的聚类中心

2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类
中心点作为标记类别

3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平
均值）

4、如果计算得出的新中心点与原中心点一样，那么结束，否则重新进行
第二步过程

k-means API：sklearn.cluster.KMeans

sklearn.cluster.KMeans(n_clusters=8,init=‘k-means++’)
k-means聚类
n_clusters:开始的聚类中心数量
init:初始化方法，默认为’k-means ++’

labels_:默认标记的类型，可以和真实值比较（不是值比较）

聚类在分类之前做

这个代码在我之前的pca降维里面有讲解。

import pandas as pd
from sklearn.decomposition import PCA
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
from sklearn.metrics import silhouette_score

# 读取四张表的数据
prior = pd.read_csv("./data/instacart/order_products__prior.csv")
products = pd.read_csv("./data/instacart/products.csv")
orders = pd.read_csv("./data/instacart/orders.csv")
aisles = pd.read_csv("./data/instacart/aisles.csv")

# 合并四张表到一张表  （用户-物品类别）
_mg = pd.merge(prior, products, on=['product_id', 'product_id'])
_mg = pd.merge(_mg, orders, on=['order_id', 'order_id'])
mt = pd.merge(_mg, aisles, on=['aisle_id', 'aisle_id'])
#显示合并后的前十条
mt.head(10)

# 交叉表（特殊的分组工具）
#列就是用户id  行就是物品
cross = pd.crosstab(mt['user_id'], mt['aisle'])
# 进行主成分分析
pca = PCA(n_components=0.9)
data = pca.fit_transform(cross)

#减少样本数量
x=data[:500]

#假设用户一共分为四个类别
km=KMeans(n_clusters=4)
km.fit(x)
#对样本进行预测
predict=km.predict(x)

这里已经进行了聚类，将一些样本聚类为0,1,2,3

通过matplotlib显示聚类散点图像

#显示聚类结果
plt.figure(figsize=(10,10))

#建立四个颜色的列表
color=['orange','green','blue','purple']
#建立颜色类别的对应
colored=[color[i]for i in predict]
plt.scatter(x[:,1],x[:,20],color=colored)

plt.xlabel("第一个特征")
plt.ylabel("第20个特征")

Kmeans性能评估指标：

注：对于每个点i 为已聚类数据中的样本 ，b_i 为i 到其它族群的所有样本的平均
距离，a_i 为i 到本身簇的距离平均值

最终计算出所有的样本点的轮廓系数平均值

如果sc_i 小于0，说明a_i 的平均距离大于最近的其他簇。
聚类效果不好

如果sc_i 越大，说明a_i 的平均距离小于最近的其他簇。
聚类效果好

轮廓系数的值是介于 [-1,1] ，越趋近于1代表内聚度和分离度都相对较优

外部距离最大化，内部距离最小化

轮廓系数：对于每⼀个样本
1.计算蓝1到⾃身类别的点距离的平均值ai
2.计算蓝1分别到红⾊类别，绿⾊类别所有的点的距离，求出平均值
b1, b2，取其中最⼩的值当做b_i
考虑一个极端：
b_i>>a_i: 1 完美
a_i>> b_i: -1 最差
所以：蓝1：轮廓系数 [-1, 1]

所以轮廓系数越靠近1效果越好

Kmeans性能评估指标API

sklearn.metrics.silhouette_score(X, labels)
计算所有样本的平均轮廓系数
X：特征值
labels：被聚类标记的目标值

from sklearn.metrics import silhouette_score

#评判聚类效果，轮廓系数
silhouette_score(x,predict)

k-means总结：

特点分析：
采用迭代式算法，直观易懂并且非常实用

缺点：容易收敛到局部最优解(多次聚类)
需要预先设定簇的数量(k-means++解决)