26.K-均值算法的优化目标、随机初始化、聚类数的选择

一、K-均值算法的优化目标

• K-均值最小化问题，是要最小化所有的数据点与其所关联的聚类中心点之间的距离之和

• K-均值的代价函数（又称畸变函数 Distortion function）为：

  $$J(c^{(1)},...,c^{(m)},{\mu }_1,...,{\mu }_K)=\frac{1}{m}\sum _{i=1}^m{\Vert X^{\left(i\right)}-{\mu }_{c^{(i)}}\Vert }^2$$

  • ${\mu }_{c^{(i)}}$代表与$x^{(i)}$最近的聚类中心点

  • 我们的的优化目标便是找出使得代价函数最小的 $c^{(1)}$,$c^{(2)}$,…,$c^{(m)}$和${\mu }^1$,${\mu }^2$,…,${\mu }^k$：
    

    

• 在K-均值算法的迭代实现过程中，算法第一个循环用于减小 c(i) 引起的代价，而第二个循环则是用于减小 μi 引起的代价。算法会在每一次迭代都减小代价函数，不然便说明存在错误
  

二、随机初始化

2.1 随机初始化的聚类中心点的方法

1. 选择$K<m$，即聚类中心点的个数要小于所有训练集实例的数量

2. 随机选择$K$个训练实例，然后令$K$个聚类中心分别与这$K$个训练实例相等

   

2.2 随机初始化可能出现的问题

• K-means的一个问题在于，如果初始化不好，有可能会停留在一个局部最小值处（局部最优解）

• 解决局部最优问题就是多次随机初始化，找到最好的解（畸变函数最小，即代价最小）：通常需要运行多次 K-means算法，每一次都重新随机初始化，最后比较多次运行 K-means的结果，选择代价函数最小的结果

  • 这种方法在K较小的时候(2-10)可行，如果K较大可能不会有明显地改善
    

三、聚类数的选择

• 没有所谓最好的选择聚类数的方法，通常是需要根据不同的问题，人工进行选择的
• 选择的时候思考我们运用K-均值算法聚类的动机是什么，然后选择能最好服务于该目的标聚类数

3.1 肘部法则

• 肘部法则——选择聚类数目的一个方法

• 肘部法则的具体内容：我们所需要做的是改变$K$值，也就是聚类类别数目的总数。用一个聚类来运行K均值聚类方法。这就意味着，所有的数据都会分到一个聚类里，然后计算成本函数或者计算畸变函数$J$。$K$代表聚类数字

• 肘部法则具体例子：
  

  • 假设使用肘部法则得到上面左图的曲线，我们看到在$K=3$的时候达到一个肘点。在此之后，畸变值就下降的非常慢, 则我们就选$K=3$，这是一种用来选择聚类个数的合理方法
  • 但是大部分情况下会像上面的右图一样没有肘点，这时就需要人工选择

四、聚类的其他知识扩充

4.1 相似度/距离计算方法总结

(1). 闵可夫斯基距离Minkowski/（其中欧式距离：$p=2$)

​ $dist(X,Y)={\left({\sum _{i=1}^n\left|x_i-y_i\right|}^p\right)}^{\frac{1}{p}}$

(2). 杰卡德相似系数(Jaccard)：

​ $J(A,B)=\frac{|A\cap B|}{|A\cup B|}$

(3). 余弦相似度(cosine similarity)：

​ $n$维向量$x$和$y$的夹角记做$\theta$，根据余弦定理，其余弦值为：

​ $cos(\theta )=\frac{x^{T}y}{|x|\cdot |y|}=\frac{\sum _{i=1}^n{x}_i{y}_i}{\sqrt{\sum _{i=1}^n{x_i}^2}\sqrt{\sum _{i=1}^n{y_i}^2}}$
(4). Pearson皮尔逊相关系数：
​ ${\rho }_{XY}=\frac{\mathrm{cov}(X,Y)}{{\sigma }_X{\sigma }_Y}=\frac{E[(X-{\mu }_X)(Y-{\mu }_Y)]}{{\sigma }_X{\sigma }_Y}=\frac{\sum _{i=1}^n(x-{\mu }_X)(y-{\mu }_Y)}{\sqrt{\sum _{i=1}^n{(x-{\mu }_X)}^2}\sqrt{\sum _{i=1}^n{(y-{\mu }_Y)}^2}}$

• Pearson相关系数即将$x$、$y$坐标向量各自平移到原点后的夹角余弦

4.2 聚类的衡量指标

(1). 均一性：$p$

• 类似于精确率，一个簇中只包含一个类别的样本，则满足均一性。其实也可以认为就是正确率(每个 聚簇中正确分类的样本数占该聚簇总样本数的比例和)

(2). 完整性：$r$

• 类似于召回率，同类别样本被归类到相同簇中，则满足完整性;每个聚簇中正确分类的样本数占该
• 类型的总样本数比例的和

(3). V-measure: 均一性和完整性的加权平均

​ $V=\frac{(1+{\beta }^2)\ast pr}{{\beta }^2\ast p+r}$

(4). 轮廓系数

• 样本$i$的轮廓系数：$s(i)$

• 簇内不相似度:计算样本$i$到同簇其它样本的平均距离为$a(i)$，应尽可能小。

• 簇间不相似度:计算样本$i$到其它簇$C_j$的所有样本的平均距离$b_{ij}$，应尽可能大。

• 轮廓系数：$s(i)$值越接近1表示样本$i$聚类越合理，越接近-1，表示样本$i$应该分类到 另外的簇中，近似为0，表示样本$i$应该在边界上;所有样本的$s(i)$的均值被成为聚类结果的轮廓系数。

• s ( i ) = b ( i ) − a ( i ) m a x { a ( i ) , b ( i ) } s(i) = \frac{b(i)-a(i)}{max\{a(i),b(i)\}} s(i)=max{a(i),b(i)}b(i)−a(i)​

(5). ARI

• 数据集$S$共有$N$个元素， 两个聚类结果分别是：

​ X = { X 1 , X 2 , . . . , X r } , Y = { Y 1 , Y 2 , . . . , Y s } X=\{{{X}_{1}},{{X}_{2}},...,{{X}_{r}}\},Y=\{{{Y}_{1}},{{Y}_{2}},...,{{Y}_{s}}\} X={X1​,X2​,...,Xr​},Y={Y1​,Y2​,...,Ys​}

• $X$和$Y$的元素个数为：

​ a = { a 1 , a 2 , . . . , a r } , b = { b 1 , b 2 , . . . , b s } a=\{{{a}_{1}},{{a}_{2}},...,{{a}_{r}}\},b=\{{{b}_{1}},{{b}_{2}},...,{{b}_{s}}\} a={a1​,a2​,...,ar​},b={b1​,b2​,...,bs​}

• 记：$n_{ij}=\left|X_i\cap Y_i\right|$

  $ARI=\frac{\sum _{i,j}{C}_{n_{ij}}^2-\left[\left(\sum _i{C}_{a_i}^2\right)\cdot \left(\sum _i{C}_{b_i}^2\right)\right]/C_n^2}{\frac{1}{2}\left[\left(\sum _i{C}_{a_i}^2\right)+\left(\sum _i{C}_{b_i}^2\right)\right]-\left[\left(\sum _i{C}_{a_i}^2\right)\cdot \left(\sum _i{C}_{b_i}^2\right)\right]/C_n^2}$