计算机视觉领域的自监督学习模型——MAE
主讲: 叶梓
P1-P2
AutoEncoder
n
自动编码器是一种无监督的神经网络模型,它可以学习到输入数据的隐含特征,这称为编码
(coding)
,同时用学习到的新特征可以重构出原始输入数据,称之为解码
(decoding)
。
n
自动编码器可以用于特征降维,类似主成分分析
PCA
,但是其相比
PCA
其性能更强,这是由于神经网络模型可以提取更有效的新特征。
![](https://img-blog.csdnimg.cn/95323905441741c79d3e1e69724d9ab3.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5aSn5pWw5o2uQUnkurrlt6Xmmbrog73kuJPlrrbln7norq3orrLluIjlj7bmopPlm6LpmJ8=,size_12,color_FFFFFF,t_70,g_se,x_16)
DAE(Denoising AutoEncoder)
n
强制自编码器学习有用特征的方式:输入增加噪声,通过训练之后得到无噪声的输出。可防止自编码器简单的将输入复制到输出,从而提取出数据中有用的模式。
n
噪声可以是添加到输入的纯高斯噪声,也可以是随机丢弃输入层的某个特征,类似于
dropout
。
![](https://img-blog.csdnimg.cn/01ad3be3690b42bbaf6e159a5cc860fa.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5aSn5pWw5o2uQUnkurrlt6Xmmbrog73kuJPlrrbln7norq3orrLluIjlj7bmopPlm6LpmJ8=,size_16,color_FFFFFF,t_70,g_se,x_16)
未完,下一篇继续……