fastica和pca区别_独立成分分析 (ICA) 与主成分分析 (PCA) 的区别在哪里？

原标题：独立成分分析 (ICA) 与主成分分析 (PCA) 的区别在哪里？

要么是你的问题不确切，要么是书上写的不确切。不管是PCA还是ICA，都不需要你对源信号的分布做具体的假设。

假设你观察到的信号是n维随机变量x，PCA和ICA都需要你找到一个n维向量w使得w^T x的某种特征 f (w^T x)最大化。

PCA：找w1使得w1^T x的方差E[(w1^T x)^2]最大；然后在与w1正交的空间里找w2，使得E[(w2^T x)^2]最大，以此类推直到找到所有的w1,w2,...,wn. 用这种方法我们可以得到一列 正交的随机变量：w1^T x, ... , wn^T x。值得注意的是，当x为高斯随即向量的时候，w1^T x, ... , wn^T x同时是相互独立的。

PCA认为一个信号最有用的信息体现在方差里，换言之，体现在w1^T x, ... , wn^T x里。至于我们找到的w1^T x, ... , wn^T x是不是真的有意义，那必须根据具体情况具体分析。

ICA：先利用PCA的结果把观察到的信号x标准化，得到z，后者满足E[ z zT ] = I。然后找w1使得w1^T z的，比如四阶矩E[(w1^T z)^4]最大；然后在与w1正交的空间里找w2，使得E[(w2^T z)^4]最大，以此类推直到找到所有的w1,w2,...,wn. 可以证明，只要源信号非高斯，那么用这种方法我们可以得到一列 独立的随机变量：w1^T z, ... , wn^T z。

ICA认为一个信号可以被分解成若干个统计独立的分量的线性组合，而后者携带更多的信息。我们可以证明，只要源信号非高斯，那么这种分解是唯一的。若源信号为高斯的话，那么显然可能有无穷多这样的分解。

题主第二个问题的答案：如果观察到得信号为高斯，那么源信号也为高斯，此时PCA和ICA等价，因此我们也可以说ICA无意义。

来源：知乎www.zhihu.com

作者：知乎用户(登录查看详情)

【知乎日报】千万用户的选择，做朋友圈里的新鲜事分享大牛。点击下载返回搜狐，查看更多

责任编辑：