k-均值聚类

在二维空间中
根据距离的邻近关系划分为两类
假设：
空间中有N个点，每个点的取值为{X_i}，i=1,2…N,我们要把这N个点划分为K类
对每个点设置一个隐含变量{Z_i}i=1,2,…N
Z_i的取值范围为1,2…K，为第i个点所属的类别
C_k为第k类的中心
k均值聚类的优化目标
最小化：
$$E(Z_i,C_k)=\frac{1}{N}\sum _{i=1}^N||X_i-C_{z_i}|{|}^2$$
问题难点
A:不知道每个点的类别归属
B:不知道每个类别的中心
知道A，能用取平均值的方法求出B
知道B能通过计算每个点到所有类别中心欧氏距离取最小的那个值，求出B
期望最大算法（EM算法）
核心思想
假设：知道A和B中的一个
如：对A赋初值，求出B，再根据B更新A,如此循环
k均值算法的流程
1，随机赋值{Z_i}=1,2…K //对每个点随机赋一个所属类别
2，求{C_k}
$$C_k=\frac{1}{{\sum }_{i=1}^{N}I(Z_i=k)}\sum _{i=1-N,Z_i=k}{X}_i$$//求第k个类别所有点的平均值
Z_i=k时，I（Z_i=k）=1,否则等于0 //求属于第k个类别的个数
3，更新{Z_i}i=1-N
$$Z_i=argmi{n}_{k=1-K}||X_i-C_k|{|}^2$$
//更新每个点所属类别为离他最近的类别中心的类别
4.回到2直到算法收敛 //单调递减有下界（0）一定收敛
不同的初始类别赋值，获得的结果将可能会不一样
k-均值聚类算法，求的是目标函数的局部最优，不是全局最优。