Machine learning- PCA and ICA

两者都是一种坐标变换，假设原坐标系为x,y，新坐标系为z,w。
$z=a_1 x+b_1 y$
$w=a_2 x+ b_2 y$
- PCA
当x,y是两个独立高斯分布，两者正交(E[z,w]=0)和两者独立$P_{ZW}(z,w)=P_Z(z) P_W(w)$是等价的。如果在这种情况下使用ICA，其结果会收敛到PCA的结果。所以是没有必要的。
- ICA
当x,y不是高斯分布的时候，z,w两者正交和两者独立不同。使得两者独立但不正交的解存在。

=====================================================
从矩阵分解的角度来考虑的话：
两者都希望把原来的信号X分解为X=US的形式，不管在PCA还是ICA中，U都是正交矩阵。
- PCA
在PCA中，使用奇异值分解可以得到X=UsV, 其中U和V都是正交矩阵。由于$XX^T=(UsV)(UsV)^T=(UsV)(V^TsU^T)=Us^2U^T$。可以使用更方便的算法，计算$SVD(XX^T)$得到U。
- ICA
在ICA中，X=US，U是正交矩阵，而S仅仅独立。使用一些最优化方法来解，可能是非凸问题。