PCA、AutoEncoders 、VAE、GAN

 

 

 

PCA

1. 摘自原文：https://blog.csdn.net/program_developer/article/details/80632779

2. 相关背景：对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量数据集增加了数据采集的工作量。在很多情形下，许多变量之间可能存在相关性，增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往往是孤立的，不能完全利用数据中的信息，因此盲目减少指标会损失很多有用的信息，从而产生错误的结论。因此需要找到一种合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。由于各变量之间存在一定的相关关系，因此可以将关系紧密的变量变成尽可能少的新变量，使这些新变量是两两不相关的，那么就可以用较少的综合指标代表存在于原来各个变量中的各类信息。主成分分析与因子分析就属于这类降维算法。

3. 数据降维：是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方法。降维具有如下一些优点：1) 使得数据集更易使用；2) 降低算法的计算开销；3) 去除噪声；4) 使得结果容易理解。
   降维的算法有很多，比如奇异值分解(SVD)、主成分分析(PCA)、因子分析(FA)、独立成分分析(ICA)。

4. PCA (Principal Component Analysis)，即主成分分析方法，是一种数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。

5.  

AutoEncoders 

1. 
2. 摘自：https://blog.csdn.net/roguesir/article/details/77469665
3. AutoEncoder 包括encode和decode，通过设计encode和decode过程使输入和输出越来越接近，是一种无监督学习过程。
   输入图片通过encode进行处理，得到code，再经过decode处理得到输出，控制encode的输出维数，就使得encode过程以低维参数学习高维特征，这和PCA类似。
4. encode和decode两个过程可以理解成互为反函数，在encode过程不断降维，在decode过程提高维度。当AutoEncoder过程中用卷积操作提取特征，相当于encode过程为一个深度卷积神经网络，好多层的卷积池化，那么decode过程就需要进行反卷积和反池化。
5. Unpooling：池化过程实际上就是降维过程，假设图片大小为32x32，池化大小为2x2，就相当于将图片中相邻的2x2个像素点替换为四个点中最大数值（max-pooling），池化处理之后得到的图片大小为16x16，Unpooling过程则需要将16x16的图片变为32x32，其实在池化过程中，会标记2x2像素点中最大值的位置，在Unpooling过程将最大值还原，其他位置填0。以上并不是Unpooling的唯一做法，在Keras中，不会记住最大值的位置，而是将所有像素均以最大值填充。
6. Convolution 与 Deconvolution ：Convolution卷积过程是一个矩阵在另一个矩阵上面做滑动运算。Deconvolution反卷积也是一样，实际上，反卷积就是卷积，假设有5*5的像素点，卷积核为3*3（步长为1），卷积之后生成3*3的feature_maps，反卷积是这样的情形，由3*3的输入生成5*5的输出，如果我们将反卷积中的输入做2的padding，这样原本3*3的输入变成7*7的输入，再做卷积3*3（步长为1），生成5*5的输出，这完全是相反的，所以，我们加上padding，使反卷积变成了卷积运算。