慢慢来,会更好!
大家好,我是一个想研究又不会研究的研究生
陪伴大家一起学习成长!
AUTO-ENCODER也可以算是self-supervised learning的一环
那么,接下来,我们来学习一下Auto-encoder是如何运作的?
Auto-encoder包括两个network
一个是NN Encoder,一个是NN Decoder
将输入的高维度特征通过Encoder弄成低维度的向量,向量再通过Decoder转成新特征,输入输出越像越好。
那怎么把train完的Auto-encoder用在downstream任务里面呢?
常见的做法就是将压缩过的向量vector来做接下来的任务。
Dimension reduction:把高维度转成低维度
那么为什么要用Auto-encoder?
为什么能把3x3图片压缩成二维数值呢?
因为图片的变化是有限的,找出有限的变化,就可以用对应的二维数值来表示出来。
找出有限的变化,把复杂的东西用比较简单的方法来描述,只需要比较少的训练资料,
在downstream任务里面让机器学到本来要学的事情。
这就是Auto-encoder的概念
那么,Auto-encoder还有一个变形叫做De-noising Auto-encoder
就是我们把原来的图片加入一些noises,然后经过2次NN,还原原始图片
这个是不是与前面学到的BERT类似呢?
其实BERT就是一个De-noising Auto-encoder