class 3 cluster 点云分割聚类

class 3 cluster

1.数学基础

• 聚类就是把相似的物体聚在一起，不相似的物体分开；

• 聚焦两类聚类方法

  • 理论上被证明的
    • K-means
    • GMM
    • EM
    • Spectral Clustering
  • 工程中常用的
    • mean-shift
    • DBSCAN

• 线性代数

  • 矩阵的SVD分解

    $M=U\ast \Sigma \ast V^{\ast }$,其中，$U,V^{\ast }$是正交矩阵（旋转矩阵），$\Sigma$是对角阵，元素是$M$的特征值的平方根，按照从大到小的顺序排列；

    如下图所示，一个圆 经过一个$M$处理，就是，先经过一个$V^{\ast }$,做一个旋转，经过一个$\Sigma$,各个维度上的一个缩放，圆变成了椭圆，最后经过一个$U$，旋转一下，得到最后的结果

    一个矩阵可以分解为旋转矩阵+缩放矩阵+旋转矩阵

    

  • 谱定理Spectral Theorem

    对阵矩阵A的分解

    

  • 瑞丽商Rayleigh Quotients
    
    ​根据SVD的那个解释图，瑞丽商表示对称矩阵A可以把x缩放多少倍，最大特征值倍到最小特征值倍

• 概率论

  • 联合概率

  • 边缘分布概率

    由联合分布求某一个变量的概率分布

    
    把其余的变量通过求和或者积分 消掉
    

  • 条件概率
    

• 图论

  • 有向图 Directed Graphical Model (DGM)

    • DGM被用于表示条件独立

    • $G(V,E)$

      • V是节点的集合,一个节点表示一个变量

      • E是有方向的边的集合,一条边代表一个条件关系,两个随机变量的联系

        

      • 马尔科夫假设:一个随机变量(节点)只和它的父节点有关,与父节点之前的节点无关

        • 如上图,就是一个简单的有向图

        • the joint distribution is $p(x,z)=p(z)p(z|x)$
          

  • 无向图UGM

    • 

• 优化方法—拉格朗日乘数法

  考虑一个优化问题:
  $$maxf(x,y),s.t.:g(x,y)=0$$

  对于简单的优化问题,用梯度下降就能解决,但是这里加入了限制条件,如下图所示:

  
  图中:

1. 虚线圆代表 f(x,y) 的登高线,越往里面值越大

2. g(x,y)=0代表x,y必须在红线上面

3. 优化为题的解,就是虚线和红线相切的位置,在红线的其他位置,移动(x,y) 存在一个方向,f(x,y)会变大,但是在相切的位置

   无论怎么移动,都会变小

   
   拉格朗日乘数法解决优化问题:

$maxf(x,y),s.t.:g(x,y)=0$

1. 引入一个新的变量 $\lambda$ 叫做拉格朗日乘数

2. 构造拉格朗日函数:

   $\mathcal{L}(x,y,\lambda )=f(x,y)-\lambda g(x,y)$

3. 求解(一阶导数为0):

   ∇ x , y , λ L ( x , y , λ ) = 0 \nabla_{x,y,\lambda}\mathcal{L}(x,y,\lambda)=0