【卷积基础】CNN中一些常见卷积（1*1卷积、膨胀卷积、组卷积、深度可分离卷积）

好喜欢吃红柚子

已于 2024-11-08 11:01:30 修改

阅读量2.7k

点赞数 13

分类专栏：计算机视觉基础文章标签：深度学习人工智能 python 计算机视觉 cnn

于 2024-11-08 09:15:53 首次发布

本文链接：https://blog.csdn.net/weixin_45662399/article/details/143613127

版权

参考： CNN 理解神经网络中卷积(大小，通道数，深度)

逐通道卷积（Pointwise Convolution，1x1 卷积）

逐通道卷积（Pointwise Convolution），也称为 1x1 卷积，是一种特殊的卷积操作，其中卷积核的大小为 1x1。

这种卷积操作不会覆盖空间维度（height 和 width），而是只作用于每个位置上的所有通道，这使得逐通道卷积主要用于调整通道数量或整合通道信息。

主要作用

降维（ dimension reductionality ）： 比如，一张500 * 500且厚度depth为100 的图片在20个filter上做1*1的卷积，那么结果的大小为500×500×20。就是改变了输入和输出的通道数，可以减少参数。
增加非线性：卷积层之后经过激励层，1*1的卷积在前一层的学习表示上添加了非线性激励（ non-linear activation ），提升网络的表达能力；很明显，增加了非线性，因为相当于又进行了一次运算。

在这里插入图片描述

逐通道卷积的操作过程

逐通道卷积对输入特征图的每个空间位置都使用一个 1x1 的卷积核来进行计算，因此该操作不改变特征图的空间分辨率（height 和 width），而是针对通道进行操作。

例如，假设输入特征图的大小为 [height, width, channels_in]，逐通道卷积会：

仅在每个空间位置的通道维度上进行加权求和，输出为 [height, width, channels_out]。
通过多个 1x1 卷积核堆叠，实现对所有通道的线性组合，从而调整通道数量。

优势

降维或升维：可以调整通道数，例如从较高的通道数降维为较低的通道数，或从较低的通道数升维为较高的通道数。
减少计算量：在深层网络中，先通过 1x1 卷积减少通道数，再应用较大卷积核，可以降低计算复杂度。
融合通道信息：通过对不同通道进行线性组合，逐通道卷积可以聚合通道之间的信息，从而提取到更丰富的特征。

代码示例

在这个例子中，1x1 卷积调整了通道数，从 64 转换为 128，但空间分辨率（height 和 width）保持不变（即32x32）。

import torch
import torch.nn as nn

# 定义1x1逐通道卷积
conv1x1 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=1)

# 输入一个大小为 (batch_size, 64, height, width) 的特征图
input_tensor = torch.randn(1, 64, 32, 32)
output_tensor = conv1x1(input_tensor)

print("输出特征图形状:", output_tensor.shape)  # (1, 128, 32, 32)