1.前言
参考资料:https://www.zhihu.com/question/28845451
书上写的是:
1. 主成分分析假设源信号间彼此非相关,独立成分分析假设源信号间彼此独立。
2. 主成分分析认为主元之间彼此正交,样本呈高斯分布; 独立成分分析则不要求样本呈高斯分布。
在利用最大化信息熵的方法进行独立成分分析的时候,需要为源信号假定一个概率密度分布函数g',进而找出使得g(Y)=g(Wx)的信息熵最大的变换W,即有Y=s。
我的问题是,
1. 这个概率密度分布函数怎么假定?在实际信号处理中怎么给出?2. 如果我观测到信号呈高斯分布,取g'为高斯分布,那么ICA和PCA得到的结果会相同吗?
2.解析
不管是PCA还是ICA,都不需要对源信号的分布做具体的假设;如果观察到的信号为高斯,那么源信号也为高斯,此时PCA和ICA等价。下面稍作展开。
假设观察到的信号是n维随机变量主成分分析(PCA)和独立成分分析(ICA)的目的都是找到一个方向,即一个n维向量使得线性组合的某种特征最大化。
2.1主成分分析 PCA
PCA