class 3 cluster
1.数学基础
-
聚类就是把相似的物体聚在一起,不相似的物体分开;
-
聚焦两类聚类方法
- 理论上被证明的
- K-means
- GMM
- EM
- Spectral Clustering
- 工程中常用的
- mean-shift
- DBSCAN
- 理论上被证明的
-
线性代数
-
矩阵的SVD分解
M = U ∗ Σ ∗ V ∗ M=U*\Sigma*V^* M=U∗Σ∗V∗,其中, U , V ∗ U,V^* U,V∗是正交矩阵(旋转矩阵), Σ \Sigma Σ是对角阵,元素是 M M M的特征值的平方根,按照从大到小的顺序排列;
如下图所示,一个圆 经过一个 M M M处理,就是,先经过一个 V ∗ V^* V∗,做一个旋转,经过一个 Σ \Sigma Σ,各个维度上的一个缩放,圆变成了椭圆,最后经过一个 U U U,旋转一下,得到最后的结果
一个矩阵可以分解为旋转矩阵+缩放矩阵+旋转矩阵
-
谱定理Spectral Theorem
对阵矩阵A的分解
-
瑞丽商Rayleigh Quotients
根据SVD的那个解释图,瑞丽商表示对称矩阵A可以把x缩放多少倍,最大特征值倍到最小特征值倍
-
-
概率论
-
联合概率
-
边缘分布概率
由联合分布求某一个变量的概率分布
把其余的变量通过求和或者积分 消掉
-
条件概率
-
-
图论
-
有向图 Directed Graphical Model (DGM)
-
DGM被用于表示条件独立
-
G ( V , E ) G(V,E) G(V,E)
-
V是节点的集合,一个节点表示一个变量
-
E是有方向的边的集合,一条边代表一个条件关系,两个随机变量的联系
-
马尔科夫假设:一个随机变量(节点)只和它的父节点有关,与父节点之前的节点无关
-
如上图,就是一个简单的有向图
-
the joint distribution is p ( x , z ) = p ( z ) p ( z ∣ x ) p(x,z)=p(z)p(z|x) p(x,z)=p(z)p(z∣x)
-
-
-
-
无向图UGM
-
-
优化方法—拉格朗日乘数法
考虑一个优化问题:
m a x f ( x , y ) , s . t . : g ( x , y ) = 0 max\ f(x,y),s.t.:\ g(x,y)=0 max f(x,y),s.t.: g(x,y)=0对于简单的优化问题,用梯度下降就能解决,但是这里加入了限制条件,如下图所示:
图中:
-
虚线圆代表 f(x,y) 的登高线,越往里面值越大
-
g(x,y)=0代表x,y必须在红线上面
-
优化为题的解,就是虚线和红线相切的位置,在红线的其他位置,移动(x,y) 存在一个方向,f(x,y)会变大,但是在相切的位置
无论怎么移动,都会变小
拉格朗日乘数法解决优化问题:
m a x f ( x , y ) , s . t . : g ( x , y ) = 0 max\ f(x,y),s.t.:\ g(x,y)=0 max f(x,y),s.t.: g(x,y)=0
-
引入一个新的变量 λ \lambda λ 叫做拉格朗日乘数
-
构造拉格朗日函数:
L ( x , y , λ ) = f ( x , y ) − λ g ( x , y ) \mathcal{L}(x,y,\lambda)=f(x,y)-\lambda g(x,y) L(x,y,λ)=f(x,y)−λg(x,y)
-
求解(一阶导数为0):
∇ x , y , λ L ( x , y , λ ) =