多元数据的线性表示

独立成分分析（Independent Component Analysis）是从多元（多维）统计数据中寻找其内在因子或成分的一种方法，与其他方法的区别在于它寻找的是既统计独立又非高斯的成分。

假设数据由已经得到其观测的一组变量构成。记变量数目为m，观测数目为T，这样可以将数据记为xi（t），维数m和T可能非常大。

该问题的一种非常通用的表述如下：从m维空间到n维空间的什么函数可以使变换后的变量能够凸显原本隐藏在大量数据集中的信息？（也就是说，变换后的变量应该是内在因子或成分，描述了数据的本质结构。）

大多数情况下只考虑线性函数，这样可以使表示的解释和计算更加简单，每个成分可以表示为观测变量的一个线性组合：

式中，是定义上述表述的某个系数，这样，原来的问题就转换为确定系数的问题。

可以将上述线性变换表示为矩阵乘法，将系数纳入矩阵W 中，则该方程变为：

选择矩阵W的原则：

选择矩阵W的一条原则是：将成分的数目限制为非常小（可能仅为1或2），并且其中包含数据尽可能多的信息。可以通过主成分分析或因子分析的技术实现。

确定矩阵W的另一条指导性原则：成分之间是统计独立的。这意味着任何一个成分的取值不能给出其他成分的任何信息。

上述内容是ICA研究的出发点，我们希望，在数据是非高斯的情况下能把统计独立的成分找出来。