《统计学习方法》（第十四章）——聚类方法

聚类基本概念

相似度或距离

• 相似度或距离:
     聚类的核心是相似度或距离的定义，它将直接影响到聚类的结果
  • 闵可夫斯基距离
    $$d_{ij}=(\sum _{k=1}^m|x_{ki}-x_{kj}|{)}^{\frac{1}{p}}$$
    $$p=2时偶啦距离$$
    $$p=1时曼哈顿距离$$
    $$p=\infty 时为切比雪夫距离$$
  • 马哈拉诺比斯距离
    $$d_{ij}=[(x_i-x_j)S^{-1}(x_i-x_j)],其中S^{-1}为协方差矩阵$$
  • 相关系数
    $$r_{ij}=\frac{\sum _{k=1}^m(x_{ki}-{\hat{x}}_i)(x_{kj}-{\hat{x}}_j)}{[\sum _{k=1}^n(x_{ki}-{\hat{x}}_i{)}^2\sum _{k=1}^m(x_{kj}-{\hat{x}}_j{)}^2{]}^{\frac{1}{2}}}$$
    绝对值越接近1表示越相似，越接近0表示越不相似
  • 夹角余弦
    越接近1表示越相似，越接近0表示越不相似
    $$s_{ij}=\frac{\sum _{k=1}^m{x}_{ki}{x}_{kj}}{[\sum _{k=1}^m{x}_{ki}^2\sum _{k=1}^m{x}_{kj}^2{]}^{\frac{1}{2}}}$$

类或簇

$n_G$为类中的样本个数
  如果一个样本只属于一个类，则为硬聚类
  如果一个样本可以属于多个类，则为软聚类

• 定义1
    设$T$为给定的正数，若集合$G$中任意两个样本$x_i,x_j$有
  $$d_{ij}\le T$$则称$G$为一个类或簇
• 定义2
    设$T$为给定的正数，若对集合$G$的任意样本$x_i$，一定存在一个$G$中的另外一个样本$x_j$使的
  $$d_{ij}\le T$$则称$G$为一个类或簇
• 定义3
    设$T$为给定的正数，若对集合$G$中任意一个样本$x_i$,$G$中的另外一个样本$x_j$满足
  $$\frac{1}{n_G-1}\sum _{x_j\in G}{d}_{ij}\le T$$则称$G$为一个类或簇
• 定义4
    设$T$和$V$为给定的两个正数，如果集合$G$中任意两个样本$x_i,x_j$的距离$d_{ij}$满足
  $$\frac{1}{n_G(n_G-1)}\sum _{x_i\in G}\sum _{x_j\in G}{d}_{ij}\le T$$
  $$d_{ij}\le V$$
  则称$G$为一个类或簇
  以上四个定义，第一个定义最常用，并且可以推导出其他三个定义
  又
• 类均值
  $${\hat{x}}_G=\frac{1}{n_G}\sum _{i=1}^{n_G}{x}_i$$
• 类直径
  $$D_G=\underset{x_i,x_j\in G}{\max }{d}_{ij}$$
• 样本散布矩阵
  $$A_G=\sum _{i=1}^{n_G}(x_i-{\hat{x}}_G)(x_i-{\hat{x}}_G{)}^T$$
• 协方差矩阵
  $$S_G=\frac{1}{m-1}{A}_G$$

类与类之间的距离

• 最短距离或单连接
  D p q = min ⁡ { d i j ∣ x i ∈ G p , x j ∈ G q } D_{pq}=\min\{d_{ij}|x_i\in G_p,x_j \in G_q\} Dpq​=min{dij​∣xi​∈Gp​,xj​∈Gq​}
• 最长距离或单连接
  D p q = max ⁡ { d i j ∣ x i ∈ G p , x j ∈ G q } D_{pq}=\max\{d_{ij}|x_i\in G_p,x_j \in G_q\} Dpq​=max{dij​∣xi​∈Gp​,xj​∈Gq​}
• 中心距离
  $$D_{pq}=d_{{\hat{x}}_p{\hat{x}}_q}$$
• 平均距离
  $$D_{pq}=\frac{1}{n_p{n}_q}\sum _{x_i\in G_p}\sum _{x_i\in G_p}{d}_{ij}$$

层次聚类

分为两类
$(1)$聚合:自下而上，每次选最近的类进行合并，直到满足条件
$(2)$分裂:自上而下，每次在选择一个类进行分裂，直到满足条件
算法:
输入:n个样本组合的样本集以及样本之间的距离
输出:对样本集合的一个层次化聚类
$(1)$计算n个样本两两之间的距离，记作矩阵$D=[d_{ij}{]}_{n\times n}$
$(2)$构造n个类，每个类只包含一个样本
$(3)$合并类间距离最小的两个类，其中最短距离为类间的距离，构造新类
$(4)$计算新类与当前各类的句子，满足条件则停止，否则回到$(3)$

K均值聚类

模型

   给定n个样本 X = { x 1 , x 2 , . . . , x n } X=\{x_1,x_2,...,x_n\} X={x1​,x2​,...,xn​}每个样本由一个特征向量表示，特征向量维度为m,k均值聚类为对数据进行划分$G_1,G_2,...,G_k$其中$G_i\bigcap G_j=\varnothing ,\bigcup _{i=1}^k{G}_i=X$
   划分$C$对应着一个多对一的函数，学习$C(x_i)=l$其中$l$为类

策略

  最小化损失函数得到函数$C$
$$W(C)=\sum _{l=1}^k\sum _{C(i)=l}||x_i-{\hat{x}}_l||$$
${\hat{x}}_l$为第$l$类的均值
$$C^{\ast }=\underset{C}{\mathrm{argmin}}W(C)$$

算法

输入:n个样本的集合$X$
输出:样本集合聚类$C^{\ast }$
$(1)$初始化.
随机选$k$个样本为k类中心$$m^{(0)}=(m_1^{(0)},m_1^{(0)},...,m_k^{(0)})$$
$(2)$对样本进行聚类
$$m^{(t)}=(m_1^{(t)},m_1^{(t)},...,m_k^{(t)})$$，对每个样本，选择归入类距离最小的类中
$(3)$重新计算中心点$$m^{(t+1)}=(m_1^{(t+1)},m_1^{(t+1)},...,m_k^{(t+1)})$$
$(4)$重复迭代直到满足条件否则$(2),t=t+1$

算法特效

• 总体特点
  基于划分的聚类方法，类别k事先给定，以及距离的定义事先给定，不能保证全局最优
• 收敛性
  不能保证收敛到全局最优，初始中心的选择直接影响结果，类中心在聚类过程中会发生移动，但移动的距离不会太大
• 初始类的选择
  选择不同的初始点，会有不同的结果
• 类别个数k
  k一般需要指定，当类数增加的时候，类平均直径会减少，到最后基本不变，而这个点一般是最优的k