ICA特征提取

看完了ICA的一整套原理介绍后，感觉完整的介绍和andrew ng的课程中的ICA特征提取关系不是很大；在ICA的理论中，主要用于盲源分离的，也就是混合的观测数据X，通过一个正交的且其范数为1的分离矩阵W（其实是实现旋转变换），分解为相互独立的原始信号数据S=WX。（这里要求S，W，X都为n*n的矩阵）

学习完成后自己有一些理解和不解。

数据处理

在实际的造作过程中，先通过均值削减和白化操作（也可通过PCA降维），把观测数据X变为一个，各个维数之间相互独立的新数据Z；让Z通过矩阵W分解为S，S=WZ；这样处理数据可以加快数据的收敛性；减低计算的复杂度。

模型转化

1，感觉利用极大似然估计算法时，利用sigmoid函数特有的性质，来近似代替原始数据的的概率分布Ps（t），感觉这个很神奇，以前只知道期望均值，可以用平均数来代替，例如本例中也通过均值来近似估计对数似然期望；没想到连概率密度函数都可以“蒙”；通过转化把一个函数优化问题，最后通过梯度下降算法来求解最优值。

2，利用负熵转化时，感觉这个也很神奇，通过信息论中熵的概念，中心极限定理，最大熵原理，KL散度，互信息定义出了变量间相互独立行