转置卷积transpose convolution

转置卷积,又称反卷积或分数卷积,用于将与卷积输出相同形状的矩阵转换回输入形状。它常用于上采样和误差反向传播。本文深入探讨转置卷积的概念,通过与卷积的关系、代数表示和矩阵运算进行详细解释,并提供nn.ConvTranspose2d的使用示例。
摘要由CSDN通过智能技术生成

参考:

A guide to convolution arithmetic for deep learning.(Vincent Dumoulin, Francesco Visin).[https://arxiv.org/abs/1603.07285]

中文:https://zhuanlan.zhihu.com/p/48501100

 

1概念

转置卷积就是用卷积矩阵的转置矩阵进行卷积。

转置卷积可以将与卷积输出形状相同的矩阵变换为与卷积输入相同的矩阵,即完成形状的反向运算,因此也被称为反卷积(Deconvolution)。但是仅仅能恢复形状,不能恢复数据,因此一般不建议叫做反卷积。

卷积常常实现图像size的减少,例如/2,/4等,而反卷积可以实现图像size的增加,例如/0.5,/0.25,因此也被称为分数卷积(Fractionally-strided Convolution)。

由于上述性质,转置卷积常常用于实现上采样功能,也用于反向传播的误差梯度回传。

 

为了说清楚转置卷积,先看一下卷积。

2卷积

2.1二维运算

图示

s=1,p=0为例。

2.2代数表示

为了少敲点字符,我们把输入和kernel改小点,如下:

卷积可表示为:

将二维输入展开成一维向量(im2col操作),写成矩阵形式:

可见,二维卷积可以看作权重窗在一维向量上滑窗。也可以看作是系数有0的全连接。

 

2.3权重矩阵

定义权重矩阵如下:

卷积运算可以写做:

H=CI

注意这个式子是不可以逆运算的。也就是说:

CI=H,不成立

已知CH,是无法求出

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值