ICA算法 汉语版

ICA算法 汉语版
1.介绍
ICA独立成分分析是一种用来从多变量（多维）统计数据里找到隐含的因素或成分的方法，被认为是PCA主成分分析和FA因子分析的一种扩展。
2.原理
(1).问题：设已知观测信号 x属于R^{m\times n}，
其中m是传感器个数，n是信号的维度。并且知道观测信号是由一组互相独立的信号s属于R^{m\times n}
通过线性组合形成的，设混合矩阵为A属于{R^{m\times m}}，则x = As
要求在A和s都不知道的情况下同时估计出A和s。
(2).ICA问题的本质是求A的逆矩阵W。

a.最大似然估计算法

既然不能精确求解，那么就只能估计。
我们假设信号Si有概率密度函数Ps(t),由于我们假定信号源是相互独立的,则源信号s的联合分布为:

x = As=W^(-1)s,可得：

现在，要求最能够产生观测信号x的W矩阵，就是使得下式最大：
该式就是似然函数。它表示的是当参数为W时，事件{X_1=x_1,X_2=x_2,…,X_n=x_n}发生的概率。接下来的思想很简单，我们的目的是求最能产生当前观察序列的W矩阵，那么，只要使L(W)的值最大即可。
由于源信号s不为我们所知，所以要使似然函数最大，我们需要选择一个s的概率密度函数.
基于sigmoid函数良好的性质，我们用sigmoid函数来近似估计F(x)，通过求导得到Ps^(t)。

有了概率密度函数，我们可以写出似然函数了，其形式如下：

求W采用随机梯度算法逼近。关键是求L(W)对W的导数,最终，W的迭代公式为：

当迭代求出W后，便可得到S=WX来还原出原始信号.

b.FastICA算法(基于负熵最大)

1).负熵判别准则
在方差相同的条件下，所有概率分布中，高斯分布的熵最大；因而我们可以利用熵来度量分布的非高斯性，常用熵的修正形式，即负熵。因此当非高斯性达到最大时，表明已完成对各个分量的分离。
负熵的定义：

其中YG是和Y具有相同协方差的随机变量，H（）为变量的微分熵
微分熵定义：

联系极大熵原理，YG为高斯分布，所以N(y)>=0；当且仅当Y本身也为高斯分布时N(y)=0；所以N(y)的值越大，证明Y的非高斯性越强.由于计算微分熵需要知道Y的概率分布密度，显然不能.因此采用如下近似

其中E(.)为均值运算.g(y)可以为:g(y)=tanh(ay),g(y)=yexp(-y^2 /2),g(y)=y的3次.
2).优化过程
快速ICA算法是找一个方向以便WX具有最大的非高斯性，也即最大的相互独立性；这里的独立性通过负熵来给出，通过均值近似估计来计算。这里通过白化处理，使W的范数为1，即使WX的方差估计为1。
可通过E{(wTx)}的最适条件获得wTx的负熵近似值。根据库恩 - 塔克条件，在E{(wTx)2}=||w||2=1的约束条件下，E{G(wTx)}的最适条件可通过此式获得

用牛顿方法解此方程。定义方程左边为F，得到它的雅克比矩阵JF(w)为

上式右边第一项可简化为E{xxTg’(wTx)}≈E{xxT}E{g’(wTx)}= E{g’(wTx)}I，雅克比矩阵变成对角的、可逆的。因此获得近似牛顿迭代：

两边同乘β-E{g’(wTx)}，进一步简化为

综上，一次FastICA算法的基本形式为：
1)初始化(如随机)向量w；
2)令w*= E{xg(wTx)} – E{g’(wTx)}w；
3)令w= w*/||w*||；
4)若未收敛，则回到2)
(3).应用
从应用角度看，ICA应用领域与应用前景都是非常广阔的，目前主要应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等。 使用ICA的前提条件是，认为样本数据由独立非高斯分布的隐含因子产生，隐含因子个数等于特征数，要求的是隐含因子。