PCA，AE，VAE，RPCA，概率PCA之间的联系与区别

最新推荐文章于 2024-10-11 23:19:25 发布

努力努力再努力F_

最新推荐文章于 2024-10-11 23:19:25 发布

阅读量5.4k

点赞数 5

分类专栏：论文学习

本文链接：https://blog.csdn.net/qq_39751437/article/details/91491514

版权

本文详细介绍了PCA、AE（自编码器）、VAE（变分自编码器）和RPCA（鲁棒主成分分析）的概念、联系与区别。PCA是一种数据降维方法，AE作为神经网络模型实现非线性降维，VAE通过引入正态分布约束优化生成样本，RPCA则关注从噪声中恢复低秩结构。文章对比了各种算法的优化求解方法，如ALM、ADM等，并提供了相关资源链接。

摘要由CSDN通过智能技术生成

文章目录

AE 自编码器

代码：自编码器keras教程

是半监督的，自编码器是只有一层隐层节点，输入和输出具有相同节点数的神经网络

自动编码器输入的是X，我们的AE网络结构是X->H->X‘，我们的目的是让X’尽可能的等于X（X‘与X有相同维度），这样训练出来的H就可以用来表示或重构X。
用于压缩数据，但是没有泛化能力，因此不能作为生成模型

自动编码器与PCA的比较
1）它是一种类似于 PCA 的无监督机器学习算法。大体上，AutoEncoder可以看作是PCA的非线性补丁加强版，PCA的取得的效果是建立在降维基础上的。
2）它要最小化和 PCA 一样的目标函数。自动编码器的目标是学习函数 h(x)≈x。换句话说，它要学习一个近似的恒等函数，使得输出 x^ 近似等于输入 x。
3）它是一种神经网络，这种神经网络的目标输出就是其输入。自动编码器属于神经网络家族，但它们也和 PCA（主成分分析）紧密相关。
总之，尽管自动编码器与 PCA 很相似，但自动编码器比 PCA 灵活得多。在编码过程中，自动编码器既能表征线性变换，也能表征非线性变换；而 PCA 只能执行线性变换。PCA可以直接得到最优的解析解，而AutoEncoders只能通过反向传播得到局部最优的数值解。因为自动编码器的网络表征形式，所以可将其作为层用于构建深度学习网络。设置合适的维度和稀疏约束，自编码器可以学习到比PCA等技术更有意思的数据投影。
自编码器由两部分组成：
1）编码器：这部分能将输入压缩成潜在空间表征，可以用编码函数h=f(x)表示。
2）解码器：这部分能重构来自潜在空间表征的输入，可以用解码函数r=g(h)表示在这里插入图片描述

PCA

PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的