- 在gan,图像分割等网络中必有上采样
- 常用方法:
- 反卷积(转置卷积):
- 增大输入的大小,细化粗的特征图,是进行学习的。
- 用于提高图片的分辨率
- 也称作“分数步长卷积”。
- 可以看做是卷积的“逆过程”
- 卷积建立了多对一的关系。
- 从信息论的角度看,卷积是不可逆的。所以此处并不是从output矩阵和kernel矩阵计算出原始的input矩阵,而是计算出一个保持了位置性关系的矩阵。
- 用于进行转置卷积的权重矩阵不一定来自于原卷积矩阵,重点是权重矩阵的形状和转置后的卷积矩阵相同。
- 转置卷积中的权重是可以被学习的
- 缺点:会在生成的图像中造成棋盘效应(checkerboard artifacts),推荐在使用转置卷积进行上采样操作之后再过一个普通的卷积来减轻此类问题。
- 棋盘效应:
- 定义:由于反卷积的“不均匀重叠”(Uneven overlap)的结果。使图像中某个部位的颜色比其他部位更深。
- 具体原因:在反卷积操作时,如果卷积核(Kernel)大小不能被步长(Stride)整除时,反卷积输出的结果就会不均匀重叠。
- 解决方法:
- 注意调整好卷积核(Kernel)大小与步长(Stride)的关系。不重叠(图a: kernel <= stride)与均匀重叠(图b: kernel % stride == 0)均可避免此类情况。
- 使用双线性插值先将图片扩大,再用卷积即可。
- 反卷积(转置卷积):
- 双线性插值+卷积:双线性插值:已知4个点,先在x方向进行线性插值,再在y方向上做线性插值。
- 反池化。
上采样--学习笔记
最新推荐文章于 2023-05-15 15:10:44 发布