《机器学习》笔记：聚类

基本概念

无监督学习(unsupervised learning) 是利用无标记训练样本的学习来揭示数据的内部性质以及规律。其中聚类(clustering)是其中重要的一类。
聚类是将数据按照一定原则划分为若干个不相交的子集（簇，cluster）。

k均值算法

k均值(k-means)算法的假设是距离相近的两样本在分类上也是相类似的。因为该算法比较简单，直接放伪代码：
输入：样本集 D = { x 1 , x 2 , . . . , x m } D=\{x_1,x_2,...,x_m\} D={x1​,x2​,...,xm​}；
   聚类簇数$k$.
过程：
 从$D$中随机选择$k$个样本作为初始均值向量 { μ 1 , μ 2 , . . . μ k } \{\mu_1,\mu_2,...\mu_k\} {μ1​,μ2​,...μk​}
 repeat
  令$C_i=\varphi (1\le i\le k)$
  // 划分样本至相应簇
  for $j=1,2,...,m$ do
   计算样本$x_j$和各均值向量${\mu }_i(1\le i\le k)$之间的距离:$d_{ji}=||x_j-{\mu }_i|{|}_2$;
   根据距离最近的均值向量确定$x_j$的簇标记: ${\lambda }_j=argmi{n}_{i\in (1,2,...,k)}{d}_{ji}$;
   将样本$x_j$划入相应的簇: C λ j ∪ { x j } C_{\lambda_j}\cup\{x_j\} Cλj​​∪{xj​};
  end for
  // 根据簇更新均值向量
  for $i=1,2,...,k$ do
   计算新的均值向量${\mu }_i^{\prime }=\frac{1}{|C_i|}{\sum }_{x\in C_i}x$;
   if ${\mu }_i^{\prime }\ne {\mu }_i$ then
    将当前${\mu }_i$更新为${\mu }_i^{\prime }$;
   else
    保持当前均值向量不变
   end if
  end for
 until 当前均值向量均未更新或者满足设定的条件
输出:簇划分 C = { C 1 , C 2 , . . . , C k } C=\{C_1,C_2,...,C_k\} C={C1​,C2​,...,Ck​}

学习向量量化

学习向量量化(Learning Vector Quantization,LVQ)和k均值算法相似在于二者都假设样本间距离越近分类相同可能性越大，不同在于LVQ假设数据样本带有类别标记，这也意味着LVQ会利用样本的监督信息辅助聚类实现。

伪代码见下：
输入：样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)}；
   原型向量个数$q$，各个原型向量预设的类别标记 { t 1 , t 2 , . . . , t q } \{ t_1,t_2,...,t_q\} {t1​,t2​,...,tq​};
   学习率$\eta \in (0,1)$.
过程：
 初始化一组原型向量 { p 1 , p 2 , . . . p q } \{p_1,p_2,...p_q\} {p1​,p2​,...pq​}
 repeat
  从样本集$D$中随机选取样本$(x_i,y_j)$;
  计算样本$x_j$与$p_i(1\le i\le q)$的距离: $d_{ji}=||x_j-p_i|{|}_2$
  找出与$x_j$距离最近的原型向量: p i ∗ , i ∗ = a r g m i n i ∈ { 1 , 2 , . . . , q } d j i p_{i^*},i^*=arg min_{i \in \{ 1,2,...,q\}}d_{ji} pi∗​,i∗=argmini∈{1,2,...,q}​dji​
  if $y_j=t_{i^{\ast }}$ then
   $p^{\prime }=p_{i^{\ast }}+\eta \cdot (x_j-p_{i^{\ast }})$;
  else
   $p^{\prime }=p_{i^{\ast }}-\eta \cdot (x_j-p_{i^{\ast }})$;
  end if
  将原型向量更新$p_{i^{\ast }}$为$p^{\prime }$
 until满足停止条件
 令$R_i=\varphi (1\le i\le q)$
 for $j=1,2,...,m$ do
  计算样本$x_j$与$p_i(1\le i\le k)$的距离: $d_{ji}=||x_j-p_i|{|}_2$
  找出与$x_j$距离最近的原型向量: p i ∗ , i ∗ = a r g m i n i ∈ { 1 , 2 , . . . , q } d j i p_{i^*},i^*=arg min_{i \in \{ 1,2,...,q\}}d_{ji} pi∗​,i∗=argmini∈{1,2,...,q}​dji​
  将样本$x_j$划入相应的簇 R t i ∗ = R t i ∗ ∪ { x j } R_{t_{i^*}}=R_{t_{i^*}}\cup\{x_j\} Rti∗​​=Rti∗​​∪{xj​}
 end for
输出:簇划分 R = { R 1 , R 2 , . . . , R q } R=\{R_1,R_2,...,R_q\} R={R1​,R2​,...,Rq​}

对比k均值和LVQ伪代码可以发现：k均值因为样本自身没有标签，故需要利用原型向量不断对于样本进行划分；而LVQ在训练中利用样本标签不断迭代原型向量，到训练完成后才需要对样本进行划分。

高斯混合聚类

高斯混合(Mixture-of-Gaussian)与k均值、LVQ不同在于其是利用概率模型作为聚类的原型。

算法过程

定义高斯混合分布
$$p_M(x)=\sum _{i=1}^k{\alpha }_i\cdot p(x|{\mu }_i,{\Sigma }_i)\text{\hspace{1em}(1)}$$
该分布是由$k$个混合成分组成，每个混合成分对应一个高斯分布，即为$p(\cdot )$，其中${\mu }_i,{\Sigma }_i$为相应的参数。而${\alpha }_i>0$为相应的混合系数(mixture coefficient)，书中解释${\alpha }_i$为第$i$个混合成分的概率，${\sum }_{i=1}^k{\alpha }_i=1$.
设 z j ∈ { 1 , 2 , . . . , k } z_j \in \{ 1,2,...,k\} zj​∈{1,2,...,k}表示样本$x_j$在高斯混合的输出，则有${\alpha }_i=p(z_j=i)$，根据贝叶斯定理有：
$$p_M(z_j=i|x_j)=\frac{p(z_j=i)\cdot p_M(x_j|z_j=i)}{p_M(x_j)}=\frac{{\alpha }_i\cdot p(x_j|{\mu }_i,{\Sigma }_i)}{p_M(x_j)}\text{\hspace{1em}(2)}$$
将$p_M(z_j=i|x_j)$记为${\gamma }_{ji}(i=1,2,...,k)$，设高斯混合分布将样本集$D$划分为$k$个簇 C = { C 1 , C 2 , . . . , C k } C=\{C_1,C_2,...,C_k\} C={C1​,C2​,...,Ck​}，每个样本$x_j$的簇标记${\lambda }_j$为：
λ j = a r g m a x i ∈ { 1 , 2 , . . . , k } γ j i (3) \lambda_j = arg max_{i \in \{1,2,...,k\}}\gamma_{ji} \tag{3} λj​=argmaxi∈{1,2,...,k}​γji​(3)

参数求解

对于（1），可采用极大似然估计来求解其中的参数${\alpha }_i$、${\mu }_i$和${\Sigma }_i$。
这里为什么采用极大似然估计呢？
我想主要是因为（1）表示为$x_j$的概率，假设存在$i^{\prime }$使得${\lambda }_j={\gamma }_{j{i}^{\prime }}$（见式3），则有参数$({\alpha }_{i^{\prime }},{\mu }_{i^{\prime }},{\Sigma }_{i^{\prime }})$使得（1）最大，即此时$i\ne i^{\prime }$的项最小，$i=i^{\prime }$的项最大，则对（1）使用极大似然估计然后对于${\alpha }_i$、${\mu }_i$和${\Sigma }_i$求偏导就可以得到相应的参数

（1）的极大似然估计为：
$$LL(D)=ln(\prod _{j=1}^m{p}_M(x_j))=\sum _{j=1}^{m}ln(\sum _{i=1}^k{\alpha }_i\cdot p(x_j|{\mu }_i,{\Sigma }_i))\text{\hspace{1em}(4)}$$
由$\frac{\partial LL(D)}{\partial {\mu }_i}=0$和$\frac{\partial LL(D)}{\partial {\Sigma }_i}=0$可以求得：
$${\mu }_i=\frac{{\sum }_{j=1}^m{\gamma }_{ji}{x}_j}{{\sum }_{j=1}^m{\gamma }_{ji}}\text{\hspace{1em}(5)}$$
$${\Sigma }_i=\frac{{\sum }_{j=1}^m{\gamma }_{ji}(x_j-{\mu }_i)(x_j-{\mu }_i{)}^T}{{\sum }_{j=1}^m{\gamma }_{ji}}\text{\hspace{1em}(6)}$$
而对于混合系数${\alpha }_i$来说其还需要满足条件$\alpha \ge 0,{\sum }_{i=1}^k{\alpha }_i=1$，则有拉格朗日形式：
$$LL(D)+\lambda (\sum _{i=1}^k{\alpha }_i-1)\text{\hspace{1em}(7)}$$
所以有
$${\alpha }_i=\frac{1}{m}\sum _{j=1}^m{\gamma }_{ji}\text{\hspace{1em}(8)}$$

算法流程

伪代码见下：
输入：样本集 D = { x 1 , x 2 , . . . , x m } D=\{x_1,x_2,...,x_m\} D={x1​,x2​,...,xm​}；
   高斯混合成分个数$k$.
过程：
 初始化高斯混合分布的模型参数 { ( α i , μ i , Σ i ) ∣ 1 ≤ i ≤ k } \{(\alpha_i,\mu_i,\Sigma_i)| 1\leq i \leq k \} {(αi​,μi​,Σi​)∣1≤i≤k}
 repeat
  for $j=1,2,...,m$ do
   根据式2计算${\gamma }_{ji}(1\le i\le k)$
  end for
  for $i=1,2,...,k$ do
   根据式5、6、8计算新的模型参数 { ( α i ′ , μ i ′ , Σ i ) ′ ∣ 1 ≤ i ≤ k } \{(\alpha_i',\mu_i',\Sigma_i)'| 1\leq i \leq k \} {(αi′​,μi′​,Σi​)′∣1≤i≤k};
  end for
 until：满足停止条件
 令$C_i=\varphi (1\le i\le k)$
 for $j=1,2,...,m$ do
  根据式3确定样本$x_j$的簇标记${\lambda }_j$；
  将样本$x_j$划入相应的簇 C λ j = C λ j ∪ { x j } C_{\lambda_j}=C_{\lambda_j}\cup\{x_j\} Cλj​​=Cλj​​∪{xj​}
 end for
输出:簇划分 C = { C 1 , C 2 , . . . , C k } C=\{C_1,C_2,...,C_k\} C={C1​,C2​,...,Ck​}

书中以分类西瓜举例，各个参数的初始化分别为：

• $k=3$
• ${\alpha }_1={\alpha }_2={\alpha }_3=\frac{1}{3}$
• ${\mu }_1,{\mu }_2,{\mu }_3$为随机选取的三个样本
• ${\Sigma }_1={\Sigma }_2={\Sigma }_3=\left(\begin{array}{cc}0.1& 0\\ 0& 0.1\end{array}\right)$

假如$\mu$选取过近会不会最后重叠从而达不到分类效果呢？

高斯混合聚类模型可以想象为样本空间中存在$k$个高斯分布概率模型来决定某一样本的分类；
式2为该样本上各个模型输出乘以相应参数之和，在参数初始化为相同值情况下，对式2的优化只会使得各个模型在所有样本上的输出尽可能大；
但是不同模型在同一样本上的输出是不同的（初始$\mu$不同），则不同模型在移动时同一样本的“拉力”不同，这便会使得多次迭代后几个模型相差会越来越大；
当然这可能也意味着当初始值太过于相近时的确有可能使得多个模型重叠？

密度聚类

密度聚类也称为“基于密度的聚类”(density-based clustering)，此类算法假设聚类结构能通过样本分布的紧密程度确定。通常情况下，密度聚类算法从样本密度的角度来考察样本之间的可连接性，并基于可连接样本不断扩展聚类簇以获得最终的聚类结果。
其中比较著名的密度聚类算法是DBSCAN(Density-Based Spatial Clustering of Application with Noise)，它基于一组 “邻域”(neighorhood)参数 $(ϵ,MinPts)$来刻画样本分布的紧密程度。设数据集 D = { x 1 , x 2 , . . . , x m } D=\{x_1,x_2,...,x_m\} D={x1​,x2​,...,xm​}，则定义：

• $ϵ-$邻域：对$x_j\in D$，其$ϵ-$邻域包含样本集$D$中与$x_j$距离不大于$ϵ$的样本，可以记作$N_{ϵ}(x_j)$
• 核心对象(core object)：若$x_j$的$ϵ-$邻域至少包含$MinPts$个样本，则$x_j$为核心对象
• 密度直达(directly density-reachable)：若$x_j$位于$x_i$的$ϵ-$邻域中，且$x_i$是核心对象，则称$x_j$由$x_i$密度直达
• 密度可达(density-reachable)：若$x_j$由某一点密度直达，而该点又由$x_i$密度直达，则$x_j$由$x_i$密度可达
• 密度相连(density-connected)：若存在$x_k$使得$x_i$和$x_j$均由$x_k$密度可达，则称$x_i$和$x_j$密度相连

而DBSCAN将簇定义为：由密度可达关系导出的最大的密度相连样本集合。

伪代码见下：
输入：样本集 D = { x 1 , x 2 , . . . , x m } D=\{x_1,x_2,...,x_m\} D={x1​,x2​,...,xm​}；
   邻域参数$(ϵ,MinPts)$.
过程：
 初始化核心对象集合$\Omega =\varphi$
 //获得所有核心对象
 for $j=1,2,...,m$ do
  确定样本$x_j$的$ϵ-$邻域$N_{ϵ}(x_j)$
  if $|N_{ϵ}(x_j)|\ge MinPts$then
   将样本$x_i$加入核心对象集合: Ω = Ω ∪ { x i } \Omega=\Omega\cup\{x_i\} Ω=Ω∪{xi​}
  end if
 end for
 //依次访问核心对象
 初始化聚类簇数：$k=0$
 初始化未访问样本集合：$\Gamma =D$
 while：$\Omega \ne \varphi$ do
  记录当前未访问样本集合：${\Gamma }_{old}=\Gamma$
  随机选取一个核心对象$o\in \Omega$，初始化队列$Q=<o>$
   Γ = Γ − { o } \Gamma = \Gamma - \{o\} Γ=Γ−{o}
  //将核心对象及其密度直达样本化为一簇，
  //密度直达样本中核心对象的密度直达样本也要划入
  while $Q\ne \varphi$ do
   取出队列$Q$中的首个样本$q$;
   if$|N_{ϵ}(q)|\ge MinPts$ then
    令$\Delta =N_{ϵ}(q)\cap \Gamma$;
    将$\Delta$中的样本加入队列$Q$;
    $\Gamma =\Gamma -\Delta$;
   end if
  end while
  $k=k+1$，生成聚类簇$C_k={\Gamma }_{old}-\Gamma$；
  $\Omega =\Omega -C_k$
 end while
输出:簇划分 C = { C 1 , C 2 , . . . , C k } C=\{C_1,C_2,...,C_k\} C={C1​,C2​,...,Ck​}

层次聚类

层次聚类(hierarchical clustering)尝试在不同层次对数据集进行划分，从而形成树性的聚类结构。书中介绍的是一种叫做AGNES(AGglomerative NESting)的层次聚类算法。

老实讲我看到AGNES的伪代码的时候感觉这个真的很直观……
开始的时候每一个样本便是一类，然后不断迭代；每次迭代找到距离最近的簇然后合并这两个簇，迭代到只剩指定个簇。

最后

书中对于各个聚类算法介绍也比较表面，并没有太体现其中的数学，我也是初学，先对这些有些了解就好。

书中介绍了五种聚类方法：

• k均值算法设立均值向量，样本归于离其最近均值向量的簇，然后利用该簇所有样本更新均值向量；
• LVQ给样本引入标记，使得迭代过程中只需要更新原型向量就可以；
• 高斯混合聚类创建$k$个概率模型，通过极大似然估计求得概率模型的相应参数；
• 密度聚类则是将紧密程度较大的设为核心对象，将核心对象与其$ϵ-$邻域内样本归为同一簇；
• 层次聚类现将所有样本初始化为簇，然后不断迭代合并距离最短的簇，直至簇数目到达指定数目。