深度学习笔记二:PAC,PAC白化，ZCA白化

不知道怎么回事， 博客误删了。不想再写了，列下提纲。

PCA

sigma=(x*x')/size(x,2);
[u,s,v]=svd(sigma);
xRot = zeros(size(x)); % You need to compute this
xRot=u'*x;
%以下降维
xHat = zeros(size(x)); % You need to compute this
uk=u(:,1:k);
xHat=uk*(uk'*x);

PCA白化

xPCAWhite=diag(1./(sqrt(diag(s)+epsilon)))*xRot;

ZCA白化

xZCAWhite=u*xPCAWhite;

总结

1. 注意PCA之前的预处理
   (1)特征的均值大致为0；(2)不同特征的方差值彼此相似。对于自然图片，即使不进行方差归一化操作，条件(2)也自然满足，故而我们不再进行任何方差归一化操作（对音频数据,如声谱,或文本数据,如词袋向量，我们通常也不进行方差归一化）
2. 特征值lambda j 和xRot的关系