ConvTranspose2d原理,对反卷积的思考

对公式的个人理解:

 

反卷积实际上,相当于先用0插值再对插值后的图像做常规卷积操作。从上述公式中可以看出,ConvTranspose2d中的参数stride参数相当于F.upsample函数中的放缩因子scale。

代入实例以供理解:现有width=60的input,欲反卷积得到output的width=240。即:240 = (60 - 1)* stride + kernalsize - 2*padding + output_padding

方案一:令stride=4,则kernel_size=3, padding=1,output_padding=3

             这相当于先对input做插值,相邻像素之间插入(stride-1=3)个0,此时 width' = width+ (stride - 1)*(input  - 1) = 237, 将原始input迅速插值到接近output的尺寸。

             接下来对237*237的图像做stride' = 1(固定不变),kernalsize' = kernel_size = 3, padding' = kernel_size - stride' - 1 = 1的正常卷积操作,正常卷积后的尺寸仍然为237。最后一步,对卷积后的图像做边缘填充,填充宽度=output_padding=3,最后得到了大小为240的图像。

方案二:令stride=2,则根据反卷积公式计算可知:kernalsize-2*padding+output_padding应等于240-118=122,假设padding=0,kernel_size=60, output_padding=62。

这里不继续计算下去,这么写的目的是:

1:理解反卷积参数(尤其是stride)的含义

2:为了更好的理解反卷积和上采样F.interpolate的区别。反卷积第一步是相邻像素间插入0,单这一步没有F.interpolate双线性插值来的让人安心,而第二步通过卷积优化插值图像。实际测试放到神经网络进行测试发现,input、output尺寸差距为2倍关系时,用反卷积放大图像做loss会提升网络性能。input、output尺寸差距为4倍关系的结果有待补充。

youtube链接:https://www.youtube.com/watch?v=Tk5B4seA-AU&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49&index=26

本文转自CSDN博客(https://blog.csdn.net/qq_27261889/article/details/86304061/

为了做个笔记方便查阅。

 

相关推荐
©️2020 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页