《三分钟了解》系列二： AutoEncoder 自编码

最新推荐文章于 2024-05-10 17:31:31 发布

dongle0224

最新推荐文章于 2024-05-10 17:31:31 发布

阅读量436

点赞数

本文链接：https://blog.csdn.net/dongle0224/article/details/102851592

版权

Hello，大家好~ 今天是第二个三分钟：《AutoEncoder 自编码》（本系列将全部采用PyTorch框架在Linux服务器上来进行网络的搭建）

AutoEncoder（AE）
PyTorch上利用AE对Mnist数据集进行复原
Variational AutoEncoder (VAE)
训练神经网络时的三个概念：Epoch, Batch, Iteration
一、 AutoEncoder（AE）

AutoEncoder 自编码是神经网络中的另一个重要内容。AE主要由两部分组成：encode和decode。

输入一张图片，经过encode之后将其压缩至很小的图片（也可以叫做特征），在经过decode，确定图像能够还原回去。另外可作解释：通过encode可以将输入的样本 x 映射到一个特征空间 z，再通过decode将抽象的特征 z 映射回原始空间得到重构之后的样本 x' 。这倒是有点jpeg2000压缩算法的意思：有损压缩。

AE 最终学习的目标不是解码，而是通过重构误差来优化encode和decode来使得我们能够得到最优的特征Z，从而进行下一步的其他应用工作。比如，数据降维，数据去噪，图像修复，信息检索等。

整体框架，其实是fully connected layer。只看encode部分，是一个数据压缩的过程。只看decode部分，又是一个GAN生成的过程。（这就有意思了。。。.）

AE的loss function一般都会选择MSE(Mean square error)

对于这个框架我倒是有点疑问。。。基本上大家都说是无监督的学习过程，因为他没有使用样本的label。但也看到一种说法是自监督学习，而自监督应该属于监督学习的一个旁支。我迷惑了。。。(⊙o⊙)…

二、用pytorch来实现一个简单的自编码器

定义一个4层网络作为编码器，Mnist数据集图片大小为28*28，经过4层之后最后变为3维。（跟全连接层一样，第一层的输入是一个向量也就是28*28=784维，之后经过4层不断降维：128—64—12—3）因为使用了Tanh作为激活函数，也就是将原始图片的灰度数据从0—255之间压缩到了-1—1之间。因此在解码的过程中要使用sigmoid()和输入对应。

class AutoEncoder(nn.Module):
    def __init__(self):
        super(AutoEncoder, self).__init__()
        self.encoder = nn.Sequential(
            nn.Linear(28*28, 128),
            nn.Tanh(),
            nn.Linear(128, 64),
            nn.Tanh(),
            nn.Linear(64, 12),
            nn.Tanh(),
            nn.Linear(12, 3),
        )
        self.decoder = nn.Sequential(
            nn.Linear(3, 12),
            nn.Tanh(),
            nn.Linear(12, 64),
            nn.Tanh(),
            nn.Linear(64, 128),
            nn.Tanh(),
            nn.Linear(128, 28*28),
            nn.Sigmoid(),
        )
    def forward(self, x):
        encoded = self.encoder(x)
        decoded = self.decoder(encoded)
        return encoded, decoded

autoencoder = AutoEncoder()
optimizer = torch.optim.Adam(autoencoder.parameters(), lr=LR)
loss_func = nn.MSELoss()

最终结果：设epoch=20，可以看出复原还是比较准的。观察动态生成图，还真有GAN的意思。。。