机器学习-独立成分分析(ICA)

1. 独立成分分析(Independent Components Analysis)

• 1.1 概念
  独立成分分析是从观测变量中分离出独立元素，观测变量的维度(数目)要和独立元素维度(数目)相同。模型表示如下
  $$\begin{gathered} x=As（x,s\in R^n，A\in R^{n\ast n}） \\ x为观测变量,s中各个分量彼此独立 \\ s=A^{-1}x=Wx \end{gathered}$$

• 1.2 如何求解模型
  已知的变量只有$x$，需要根据$x$值推导出矩阵$A$。如果不增加其它设定，是无法仅根据$x$求解出矩阵A，因此需要增加其它条件，来建立合适的$p(x)$概率密度模型，然后再通过极大似然估计求解矩阵$A$。
  先说因子分析的几个限制
  （1）无法区分各个独立成分的顺序
  （2）不能恢复独立成分的大小($2A.\underset{2}{}$