深度学习中的各种卷积

最新推荐文章于 2024-06-01 23:30:14 发布

NotRaining

最新推荐文章于 2024-06-01 23:30:14 发布

阅读量496

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/sinat_40966515/article/details/90543447

版权

深度学习专栏收录该内容

9 篇文章 1 订阅

订阅专栏

1.卷积

卷积运算可以表示为 y = Cx ，为一个稀疏矩阵。神经网络中的正向传播就是转换成了这种矩阵运算。

反向传播时，首先我们已经从更深层的网络中得到 $\frac{\partial Loss}{\partial y}$ ，

$\frac{\partial Loss}{\partial x_j} = \sum_i \frac{\partial Loss}{\partial y_i} \frac{\partial y_i}{\partial x_j} = \sum_i \frac{\partial Loss}{\partial y_i} C_{i,j} = \frac{\partial Loss}{\partial y} \cdot C_{*,j} = C_{*,j}^T \frac{\partial Loss}{\partial y}$

2.反卷积（称为转置卷积更为合理）

转置卷积(Transposed convolutions)其实就是在正向传播时左乘 C^T ，反向传播时左乘 (C^T)^T ，即。转置卷积可以理解为中间运算矩阵被转置了的卷积。转置卷积的前向过程和反向过程正好和卷积的相反，实现的时候对调一下即可。

微步卷积(Fractionally strided convolutions)是转置卷积的一种，考虑padding和strides的多种情况详见

https://blog.csdn.net/u011276025/article/details/74979405

3.空洞卷积

空洞卷积（Atrous convolutions）又名扩张卷积（Dilated convolutions），向卷积层引入了一个称为“扩张率(dilation rate)”的新参数，该参数定义了卷积核处理数据时各值的间距。普通卷积就是扩张率为1的空洞卷积。

一个扩张率为2的3×3卷积核，感受野与5×5的卷积核相同，而且仅需要9个参数。在相同的计算条件下，空洞卷积提供了更大的感受野，因此经常应用在图像分割任务中。当网络层需要较大的感受野，但计算资源有限而无法提高卷积核数量或大小时，可以考虑空洞卷积。

4.深度分离卷积

（1）标准卷积

（2）深度可分离卷积

Depthwise Conv：

Pointwise Conv:

5.分组卷积

分组卷积(Group convolutions)，最早在AlexNet中出现，由于当时的硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU处理，因此作者把feature maps分给多个GPU分别进行处理，最后把多个GPU的结果进行融合。当分组数G等于输入通道数C时，分组卷积即为Depthwise Conv。

6.可变形卷积

Deformable convolutions

NotRaining

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
深度学习中的各种卷积

1.卷积卷积运算可以表示为，为一个稀疏矩阵。神经网络中的正向传播就是转换成了这种矩阵运算。反向传播时，首先我们已经从更深层的网络中得到，2.反卷积（称为转置卷积更为合理）转置卷积(Transposed convolutions)其实就是在正向传播时左乘，反向传播时左乘，即。转置卷积可以理解为中间运算矩阵被转置了的卷积。转置卷积的前向过程和反向过程正好和卷积的相反，...
复制链接

扫一扫