机器学习：特征提取之ICA（独立成分分析）

1. ICA概念

先描述一下线性方程：
假如有n个人在一个房间说话，在这个房间的不同位置摆放了d个声音接收器，每个接收器在任何时刻会同时采集到d个人说话的重叠声音信号。因为每个接收器和每个人的距离不同，所以每个接收器接收到的声音信号的重叠情况也不同。在具体时刻t，从d个接收器接采集的一组声音数据(一个接收器得到一个数据，所以一个样本中有d个数据)，然后收集m个时刻的样本数据，如何从这m个样本集分离出n个说话者各自的声音呢？

显然，有多少个采样时刻，就可以理解为有多少个样本；而信号源的个数可以理解为特征的维数

令：n = 2,有两个说话的人，两个声音接收器，d = 2，采集t和时刻的声音信号
记：两个说话者的声音分别用s1和s2表示，两个声音接收器收到的信号分别用x1(t)和x2(t)表示，其中x是采集的声音信号，是已知的
则：一定存在常数a11、a12、a21、a22使得以下线性方程组成立：
x1(t) = a11s1+a12s2
x2(t) = a21s1+a22s2

上述方程组写成矩阵的形式为：X = AS
看到这里，应该已经理解每个时刻的每个声音接收器接收到的声音信号都是时刻t，d个说话者的独立声音的线性组合，而混合矩阵A决定了这个线性组合

令，W = A(-1)
那么，X = AS，就可以转换成，S = WX

小结ICA的目标：是从混合信号 x 中提取出 d 个独立变量成分，也就是找到分离矩阵 W

2. ICA模型转化

通过上面的分析可知，已知混合信号X，来寻找分离矩阵W，然后计算WX来找到Y，即原始信号S的估计值。

在模型中我们假设各个信号S间是相互独立的，所以我么求解得到的Y的分量间也是相互独立的，所以在未知混合矩阵A，分离矩阵W，只有观测数据X的情况下，我们通过度量Y各个分量间的独立性，来评判求解结果的好坏。Y的各分量独立性越好，说明Y越接近S的真实值，此时的混合矩阵W也越好

这样盲源分离问题就变成了，一个优化问题，已知数据X，随机初始化一个分离矩阵W；通过变换WX得到Y（Y是S的估计值，通过一个初始化的混合矩阵W估计得到），要求Y各个分量间相互独立；通过度量Y分量间的独立性，来寻找最好的分离矩阵W。如图所示

ICA算法分为两个部分，1. 优化判据；2. 寻优算法

这里先说一下这个简略介绍的寻优算法，其实有时寻找目标函数最优值的算法，例如经典的梯度下降算法等，由于这里重点介绍ICA模型，所以寻优算法简略提一下。

下面就来介绍ICA的精髓部分，就是优化判据，就是判断结果好不好的依据，那么在ICA中，根据我们的介绍我们的判据就是Y各个“分量间相互独立性”。那么如何度量Y变量之间的相互独立性呢？

度量变量之间的相互独立性，这里分为两种方法，一种是通过统计中特征值来度量，例如四阶中心距，峭度（kurt）等，一种是通过信息论中熵的概念来度量

现在考虑ICA的求解。之前说过，d 个源信号是相互独立的（且没有噪声），所以源信号的密度函数可以表示为：

观测信号 st 和观测信号 xt 的关系是xt=Ast，它们的概率密度函数有如下关系：

可以得到：

3. 基础知识介绍（概率论、统计、信息论）

这些知识感觉看完之后理解的还不透彻，或者就压根不理解，所以待我再研究研究再来更新…
下面有链接可以参考

3.1 概率论知识

待更新…

3.2 统计知识

待更新…

3.3 矩

待更新…

3.4 信息论
信息熵的定义：

信息熵的三个性质：

1. 单调性，发生概率越高的事件，其携带的信息量越低；
   非负性，信息熵可以看作为一种广度量，非负性是一种合理的必然；
2. 累加性，即多随机事件同时发生存在的总不确定性的量度是3. 可以表示为各事件不确定性的量度的和，这也是广度量的一种体现

4. ICA的Python算法实现

目前还不会实现
等我再学一学，再继续更新…

ICA和PCA的区别：
（1）PCA是降维并提取不相关属性，而ICA是降维并提取相互独立的属性(不相关不一定独立，独立一定不相关。不相关是指没有线性关系，独立是指没有任何关系)。
（2）PCA是提取出最能表示原始事物的特征，而ICA是使每个分量最大化独立，便于发现隐藏因素
（3）PCA的适用环境是数据为高斯分布，而ICA不适用于高斯分布的数据。
ICA的两条假设：
① 源信号之间互相独立
② 每一个源信号为非高斯分布

ICA是20世纪90年代发展起来的一种新的信号处理技术，它是从多维统计数据中找出隐含因子或分量的方法。从线性变换和线性空间角度，源信号为相互独立的非高斯信号，可以看作线性空间的基信号，而观测信号则为源信号的线性组合,ICA就是在源信号和线性变换均不可知的情况下，从观测的混合信号中估计出数据空间的基本结构或者说源信号

1. https://blog.csdn.net/pantingd/article/details/106908684特征提取之PCA的解释可点此链接
2. https://blog.csdn.net/u012421852/article/details/80500940ICA文献参考链接
3. https://blog.csdn.net/LG1259156776/article/details/51132154信息熵参考链接
4. 参考文献https://www.cnblogs.com/Determined22/p/6357291.htmlICA参考资料