史上最直白的ICA教程之一

前言

独立成分分析ICA是一个在多领域被应用的基础算法。ICA是一个不定问题，没有确定解，所以存在各种不同先验假定下的求解算法。相比其他技术，ICA的开源代码不是很多，且存在黑魔法–有些步骤并没有在论文里提到，但没有这些步骤是无法得到正确结果的。

本文给出一个ICA最大似然解法的推导，以及FastICA的python实现，限于时间和实际需求，没有对黑魔法部分完全解读，只保证FastICA实现能得到正确结果。

有兴趣的童鞋可以在未来补上相关内容。

ICA问题表述

设$X$是随机向量，且$X\in R^{n\times 1}$，这也就说，$X$里有$n$个成员，每个成员是一个随机变量：

$$\begin{equation} X = \left( \begin{array}{c} x_1\\ x_2\\ ...\\ x_i\\ ...\\ x_n \end{array} \right) \end{equation}$$
其中， $\ x_i$是一个随机变量。

随机变量有诸多特性，殆由概率论和数理统计教科书详述备尽，在此不一一叙述。

$X$里的$n$个随机变量是相互非独立的，在一定的假设下，可以用$n$个相互独立的随机变量线性组合重新表达$X$，也就是说：

$$\begin{equation} \left( \begin{array}{c} x_1\\ x_2\\ ...\\ x_i\\ ...\\ x_n \end{array} \right) = A \left( \begin{array}{c} s_1\\ s_2\\ ...\\ s_i\\ ...\\ s_n \end{array} \right) \end{equation}$$
其中， $s_i$是一个随机变量，且两两相互独立， $A$是满秩矩阵，且 $A\in R^{n\times n}$。
令:
$$\begin{equation} S = \left( \begin{array}{c} s_1\\ s_2\\ ...\\ s_i\\ ...\\ s_n \end{array} \right) \end{equation}$$
则：
$$\begin{equation} X=AS \end{equation}$$
又有:
$$\begin{equation} S=A^{-1}X \end{equation}$$
令：
$$\begin{equation} W=A^{-1} \end{equation}$$
则:
$$\begin{equation} S=WX \end{equation}$$
其中， $W\in R^{n\times n}$。

记录随机向量$X$的值$m$次，则形成数据集：

$$\begin{equation} D=\left(\begin{array}{cccc} d_{1,1} & d_{1,2} & ... & d_{1,m}\\ d_{2,1} & d_{2,2} & ... & d_{2,m}\\ ... & ... & ... &...\\ d_{n,1} & d_{n,2} & ... & d_{n,m} \end{array} \right) \end{equation}$$
其中， $D \in R^{n\times m}$

ICA的目标，就是在只知道$D$的情况下，估算$A$，$W$，$S$的值。

实例：在一个大厅里，有$n$个人在随机聊天。在大厅的不同角落，布置$n$个麦克风记录大厅的声音，每秒一个记录，一共记录m秒。麦克风记录的混合声音，多个麦克风记录不同位置的混合声音。ICA的目标，就是从混声录音中将每个人的声音分离出来。

理论推导

由前可知:

$$\begin{equation} \ s_i = \left( \begin{array}{cccccc} w_{i,1} & w_{i,2} & ... & w_{i,j} & ... &w_{i,n} \end{array} \right) \left( \begin{array}{c} x_1\\ x_2\\ ...\\ x_i\\ ...\\ x_n \end{array} \right) \end{equation}$$
令:
$$\begin{equation} w_i = \left( \begin{array}{cccccc} w_{i,1} & w_{i,2} & ... & w_{i,j} & ... &w_{i,n} \end{array} \right) \end{equation}$$
则:
$$\begin{equation} s_i = w_iX \end{equation}$$

设随机变量$s_i$概率密度函数是$p_{s_i}(s_i)$，其中$p$的右下角$s_i$表示随机变量标示，括号中的 s