qq_39214409的博客

Principal Component Analysis（PCA）是一种数据降维方式，可以将n维数据降低到指定的k维。此时延伸出一个问题，为什么数据要进行降维操作。如 Figure 1 在我们常用的二维坐标系中，我们可以很容易的观察出二维数据的分布规律，从而判断出数据的特性。假设在此数据的基础上，加上z轴，每个数据点在z平面上的抖动非常小，则数据点在z轴的变化对于数据整体的特性影响很小。我们足以在x、y轴上观察到数据的主要规律，那么数据在z轴上的维度可以选择忽略。

GMM具有很多重要的性质，其中最重要的是中心极限定理，它表明许多独立随机变量的均值将近似地服从高斯分布，即使这些变量本身不服从高斯分布。权重越大的高斯分量被选择的概率越高，这确保样本更有可能来自于权重较大的高斯分量，从而符合整体混合模型的分布特点。

作为经典的网络结构之一，Auto-Encoder在深度学习的多个领域中有着出色的表现，依赖于重构误差的反向优化，模型可以学习到数据在低维空间的表示，过滤掉数据的冗余特征，得到细粒度特征。但是，AE学习的是确定性编码（潜在表示经常是确定性的），而不是数据的概率分布，不能直接提供关于数据分布的信息，可能会产生过拟合等问题。

整个过程为马尔可夫过程，后一时刻的数据只受前一时刻的数据影响，根据前一时刻不断在后一时刻加入噪声。代表真实数据分布（大量图片），在此分布中采样可得到真实图片。为总步长，迭代求解很慢。​ 我们希望以加噪数据为输入，模型预测去噪后的数据表示为。为每一时刻添加的噪声（均独立同分布），令。的分布数据（去噪过程），但是噪声。​ ，去噪过程同样遵循马尔可夫过程。在反向过程中，我们想要求解。此时，得到关系式，可以通过。​ 是服从高斯分布的真实噪声。​ 替换掉，在正向过程。是神经网络预测的噪声，