- ppca原理
pca 可以从很多角度来理解,今天来谈一谈不太知名的ppca。所谓概率pca, 就是构建一个概率模型,对于一个数据 , 可以认为这样生成的,, 是维, , 是均值为0,方差为 的 维高斯随机向量,, 是均值为0 , 方差为 的 维高斯随机向量, 和 独立。 是未知参数,把 看成隐变量,对 降维的结果,就是要求出它在低维空间的隐变量,但是隐变量是随机变量,因此我们要求得已知 时 的期望,即 ,这个模型可以看成一种特殊的高斯混合模型,求解方法也和GMM一样。
要求 ,我们就要求得, 接下来涉及一系列概率计算。给定时,, 将积分,可得全概率分布 . 根据贝叶斯定理,
,
进行配方,保留和 有关的项,得到
,
其中, 因此当已知 后, 的期望就是 ,即 的降维结果,剩下的问题就是如何求得 这三个参数了,有两种方法可以用来求解,极大似然法和EM算法,用这两种求解都非常复杂。这里介绍最大似然的解法。
- 极大似然求解
将 记作 , 对数似然函数为: , 和一般高斯分布的似然函数一样, 只是是参数的复合。写成log的形式:
对 求导,导数为: 。令导数等于0,求得 :
,
即 等于样本的均值,这个结果和高斯分布极大似然一样。
再求 和 。对 求偏导:将 写成trace 的形式,, 是方差矩阵:
根据链式法则,, 表示微分。
进一步,, 又 左右两边求微分,,
所以 ,
,带入上式,最后得到:
,
类似的,令,
.。
令这两项为零,最后即可以求得。由于解这两个方程实在是过于复杂,这里就不介绍怎么解了,以后有时间会介绍怎么用EM来求解。