PyTorch基础——torch.nn.Conv2d中groups参数

最新推荐文章于 2024-06-30 14:36:42 发布

gy笨瓜

最新推荐文章于 2024-06-30 14:36:42 发布

阅读量2.4k

点赞数 8

分类专栏： PyTorch 文章标签： PyTorch nn.Conv2d

本文链接：https://blog.csdn.net/u012633319/article/details/109171775

版权

PyTorch 专栏收录该内容

21 篇文章 6 订阅

订阅专栏

torch.nn.Conv2d：对输入的二维图像进行卷积运算
本文主要针对groups参数为1和不为1情况介绍

# 函数声明：
torch.nn.Conv2d(
                in_channels  = in_channels, 
                out_channels = out_channels,
                kernel_size  = kernel_size,
                stride       = 1,
                padding      = 0,
                dilation     = 1,
                groups       = 1,
                bias         = True,
                padding_mode = 'zeros')

# 调用流程：
conv = torch.nn.Conv2d(in_channels, out_channels, kernel_size) 
out  = conv(input) # input的shape为 N x C x H x W
                   # N: batch中样本数量 
                   # C：每个样本的通道数
                   # H: 每个样本的高度
                   # W: 每个样本的宽度

【sample】
以2 x 3 x 4 x 5 input为例：

（一）groups参数为1

conv = torch.nn.Conv2d(in_channels=3, out_channels=6, kernel_size=3, groups=1, bias=False)
out  = conv(input)

此时卷积核shape为 6 x 3 x 3 x 3 [out_channels x in_channels x kernel_size x kernel_size]
此时groups参数为1，表示将in_channels所有通道作为一组，与每一个3x3x3卷积核卷积，一共6个3x3x3卷积核，共输出6个通道特征。
例如：以第一个3x3x3卷积核与input第1一个样本第一个kernel窗口卷积为例，计算过程如下

      【卷积核 3 x 3 x 3】              【第一个3x3x3卷积核与第一个样本kernel窗口卷积结果】

[[[-0.1146, -0.0763, -0.0392],            -0.1146*141 - 0.0763*138 - 0.0392*143 +
  [ 0.0143,  0.0109,  0.0747],             0.0143*138 + 0.0109*139 + 0.0747*143 + 
  [ 0.1792,  0.1717,  0.0782]],            0.1792*135 + 0.1717*137 + 0.0782*138 +
 
 [[-0.0677, -0.0513, -0.0867],            -0.0677*138 - 0.0513*135 - 0.0867*139 +
  [-0.1899, -0.1886, -0.1195],            -0.1899*135 - 0.1886*136 - 0.1195*139 + 
  [-0.1306, -0.0011,  0.0604]],           -0.1306*132 - 0.0011*134 + 0.0604*135 +
                                     
 [[-0.1809, -0.1719,  0.0385],            -0.1809*109 - 0.1719*106 + 0.0385*113 +
  [-0.1059, -0.1535, -0.1849],            -0.1059*106 - 0.1535*107 - 0.1849*113 +
  [ 0.1027,  0.0132,  0.0144]]],           0.1027*111 + 0.0132*113 + 0.0144*116 = -132.636

（二）groups参数非1，需要能被in_channels=3整除

conv = torch.nn.Conv2d(in_channels=3, out_channels=6, kernel_size=3, groups=3, bias=False)
out  = conv(input)

此时卷积核shape为6x1x3x3，将输入通道共分为3组，每一个通道为1组，每一组对应2个1x3x3卷积核，分别与该组通道独立卷积，不采取求和操作，输出2个通道特征。
例如：以前两个1x3x3卷积核与第1组输入第一个kernel窗口卷积为例，计算过程如下：

【卷积核 两个 1x3x3】                             【输出】

第一个：                                   第一个通道第一个值：
[[ 0.2868,  0.1139, -0.0515],             0.2868*141 + 0.1139*138 - 0.0515*143 + 
 [-0.3059,  0.0081, -0.2814],            -0.3059*138 + 0.0081*139 - 0.2814*143 +
 [-0.1271, -0.2342, -0.1725]]            -0.1271*135 - 0.2342*137 - 0.1725*138 = -105.5849

第二个：                                   第二个通道第二个值：
[[ 0.1897, -0.3158,  0.2214],             0.1897*141 - 0.3158*138 + 0.2214*143 +
 [ 0.0774,  0.1155,  0.1251],             0.0774*138 + 0.1155*139 + 0.1251*143 +
 [ 0.2186,  0.0368,  0.2127]]             0.2186*135 + 0.0368*137 + 0.2127*138 = 123.3577

groups参数非1时一般用于depthwise卷积，例如mobilenet中，此时一般设置kernel_size也为1,，具体细节可参考mobilenet相关论文说明。