[ICA独立成分分析]概论

1.多元数据的线性表示
一般统计框架：
ICA的问题可以表示为如下：
从M维空间到N维空间的什么函数可以使得变换后的变量能够凸显原本隐 藏在大量数据集中的信息。也就是说，比那还后的变量应该是内在因子或成分，他们描述了数据的本质结构。
因此可以将ICA问题简化成Y=WX的求解
其中Y是可观察信号的矩阵，W是变换矩阵 X是源信号矩阵
降维方法：
确定选择矩阵W的另一个指导原则是：将成分yi的数目限制为非常小（可能仅为1或2）并使得yi包含数据中尽可能多的信息（这导致了一种降维方法例如PCA或者因子分析）
独立性作为一个指导原则：
确定W的另外一个指导原则是独立性：成分yi之间应该统计独立，这意味着，任何一个成分的取值不能给出其他成分的任何信息。
事实上，如果数据是高斯的，寻找独立的成分会非常简单，因为对于高斯数据，不相关成分总是独立的，因此只要找出数据集中的不相关数据就好了（这地方存在疑惑，怎么计算观测信号的不相关性呢？）

2.盲源分离
Y=WX
其中Y是观测信号向量（包括y1y2y3），W是变换矩阵，X是源信号(x1x2x3)
盲源分离的目的：通过观测到的y1y2y3,分离出：x1x2x3.
事实上，如果我们能得到一个矩阵A
使得X=AY。则意味着我们成功分离了x1x2x3。
在这里，可见A为W的逆矩阵
现在的问题是我们该如何估计A呢
仅仅通过考虑信号的统计独立性，就可以找到上述问题的一个惊人的简单求解方式。事实上，如果信号是非高斯的，那么只需要确定矩阵A
使得X=AY
其中，x1x2x3是统计独立的就可以了。如果x1x2x3统计独立，这就意味着他们就是我们要求的源信号
3.独立成分分析
定义：
盲源分离问题可以归结为寻找一个线性表示，使得该线性表示统计独立。在实际情况下，我们一般不可能找到一个其成分真正独立的表示，但是至少能够找到一个其成分尽可能独立的表示。
应用：
1.脑成像中，大脑内部的信号源发出的信号在头部以外的传感器混合起来
2.计量经济学中
3.图像特征提取：（待补充）
如何寻找独立成分：
在只有独立性，没有其他任何假设前提下，仍能从线性混合中估计出独立成分。（独立性，线性混合，信号源非高斯分布）
仅仅不相关是不够的:
独立性是比不相关性强的多的概念。这也是PCA或因子分析不能分离信号的原因：他们给出的成分除了不相关外就没有更多信息了
事实上，利用用我们熟知的去相关方法，可以将独立成分的任何线性混合变换成不相关成分。这样的混合变换是正交的。这样，ICA的要点就是估计去相关之后留下的未知正交矩阵。这是经典方法所不能估计得，因为他们和去相关方法一样，是基于协方差信息的（为什么协方差信息不能估计正交矩阵？）
原理：对于两个仅仅是不相关的变量，对两个变量进行非线性变换后一般不具有零协方差（什么时候变换后还会有0协方差?）
这给出了一个估计W的一个简单原理：
ICA估计原理1：
非线性去相关。寻找矩阵W，使得成分y1y2y3不相关，而且变换后的成分g(y1)和h(y2)也不相关。其中gh是适当的非线性函数。
这个原理很简单，但有个问题：那就是g,h该如何选择？这时就要用到信息论和估计理论的知识了类似于极大似然估计最小互信息的方法。
原理：极大非高斯性，根据中心极限定理：任何两个非高斯随机变量的和比原变量更加接近高斯变量
ICA估计理论2：
在y的方差为常数的约束下，求线性组合y=Σbixi这里写代码片非高斯性的局部极大值。每个局部极大给出一个独立成分。