图像超分辨率重建技术
图像超分辨率重建技术指的是借由特定的算法和处理流程,从给定的低分辨率图像中复原出高分辨率图像的过程,
我们采用了SRGAN的模型来执行图像超分辨率重建的任务
生成对抗网络GAN
生成对抗网络GAN,是通过对抗的方式,学习数据分布的生成式模型。GAN模型中有两个组成部分:生成器和判别器,生成器输出模拟真实样本的假样本。判别器则判断输入是真实样本还是生成的样本,两个网络在对抗中不断训练调整,可以将生成器看为艺术品伪造者,判别器视为艺术专家。伪造者的目的是制作逼真的艺术品, 专家的目的是区分是否是伪造品。两者同时训练,并且相互竞争。
SRGAN模型就是将这种生成对抗的思想引入图像增强任务中,通过生成器不断尝试生成高分辨率图像,判别器判断是高分辨率还是低分辨率图像,两者相互竞争,判别器无法判断生成器生成的样本
网络结构
上图上部分为:生成网络结构,基于Resnet网络结构;
上图下部分为:辨别网络结构,利用LeakyReLU(0.2)为激活函数,网络层数从64到512,后面连接两个全连接层和一个sigmoid层,用来判断是否为同一图像的概率;
SRGAN的工作就是: G网通过低分辨率的图像生成高分辨率图像,由D网判断拿到的图像是由G网生成的,还是数据库中的原图像。当G网能成功骗过D网的时候,那我们就可以通过这个SRGAN完成超分辨率了。
感知损失函数
SRGAN还对原始GAN模型的损失函数做了一些改进,通过利用感知损失和对抗损失来提升恢复出的图片的真实感。感知损失是利用卷积神经网络提取出的特征,通过比较生成图片经过卷积神经网络后的特征和目标图片经过卷积神经网络后的特征的差别,使生成图片和目标图片在语义和风格上更相似。
实验验证
CelebA数据集 : 里面有大量的带标注信息的明星人脸.
构建好网络后,基于CelebA数据集,对每个图片做处理得到低分辨率的图片,从而得到低分辨率图片数据集。用这两个数据集来训练网络,实现低分辨率到高分辨率图片的转化