0909多个输入和输出通道

神经网络中另外一个重要的超参数是通道数

多个输入通道

• mnist数据集中的图片是灰度图片，只有一个通道
• 一张彩色图片是由红绿蓝三个通道组成的，所以图片在表示的时候通道数是3

例（输入是一个三维的tensor）

• 每一个通道都有对应的卷积核
• 每个通道的输入和对应通道的卷积核做卷积，然后将得到的各个通道上的输出进行叠加（对应位置上的元素相加）得到最终的结果
• 计算公式如下图所示

• 输出是单通道的，不管输入有多少个通道，输出是他们输出结果的叠加，所以始终是单通道

多个输出通道

• 为什么要有多个输出通道？因为不管有多少个输入通道只会得到单输出通道的话是不够的
• 如果对每一个输出通道有一个三维的卷积核，这个卷积核会输出自己的通道（就相当于在三维的基础上又加了一维 i ，这一维表示输出的通道数）
• 这里输入和输出通道是没有相关性的

多个输入和输出特征

• 每个输出通道可以认为是在识别某一个特定的模式（特征），通过学习不同卷积核的参数来匹配某一个特定的模式

  多输入输出通道 P1 - 08:02

  
• 从某一层的角度来看，输入通道的卷积核可以将上一层得到的不同模式进行识别和组合，按照一定的权重进行相加组合，得到了组合的模式识别

  多输入输出通道 P1 - 08:59

  
• 对于一个深度的神经网络来说，下面的一些层的不同通道用来识别一些不同的局部的底层信息（边、纹理），越往上，上层会将局部的纹理组合起来，变成更加高级，较之前更加整体性的模式（特征，如耳朵、胡须等），最上面将所有识别的模式组合起来就形成了所要识别的类别（猫）

1*1的卷积层

• 卷积核的高和宽都等于1，意味着它不会识别空间信息，因为他每次只看一个空间像素所以不会去识别通道中的空间信息
• 输出的值等价于将对应的输入位置上的不同通道上的值做加权和
• 1*1卷积核的作用就是去融合不同通道的信息可以认为是不做空间的匹配，只是在输入层直接做输入通道和输出通道的融合，等价于将整个输入拉成一个向量，通道数等于feature的数量，卷积核相当于一个co*ci的全部连接层

  多输入输出通道 P1 - 11:34

  
• 1*1的卷积层就等价于一个全连接层，不做任何的控制信息，因为全连接层不考虑空间信息它只考虑在特征维度（也就是输入通道维数）的融合
• 它是一个特殊的卷积层

二维卷积层

• 复杂度（需要的浮点运算的程度）的计算

总结

• 输入通道数不是卷积层的超参数，它是前一层的
• 所以最后的卷积核是一个4维的张量

代码实现：

 
import torch
from torch import nn
import sys
sys.path.append("..")
import d2lzh_pytorch as d2l
"""多输入通道
实现含多个输入通道的互相关运算。我们只需要对每个通道做互相关运算，然后通过add_n函数来进行累加
"""
def corr2d_multi_in(X, K):
 # 沿着X和K的第0维（通道维）分别计算再相加
   res = d2l.corr2d(X[0, :, :], K[0, :, :])
   for i in range(1, X.shape[0]):
        res += d2l.corr2d(X[i, :, :], K[i, :, :])
   return res
 
#构造数组x和数组k来验证互相关运算的输出
X = torch.tensor([[[0, 1, 2], [3, 4, 5], [6, 7, 8]],[[1, 2, 3], [4, 5, 6], [7, 8, 9]]])
K = torch.tensor([[[0, 1], [2, 3]], [[1, 2], [3, 4]]])
print(corr2d_multi_in(X, K))
 
"""多输出通道
实现一个互相关运算函数来计算多个通道的输出
"""
def corr2d_multi_in_out(X, K):
 # 对K的第0维遍历，每次同输⼊X做互相关计算。所有结果使⽤stack函数合并在⼀起
      return torch.stack([corr2d_multi_in(X, k) for k in K])
K = torch.stack([K, K + 1, K + 2]) #构成一个通道数为三的卷积核
print(K.shape)
#此时在输出有三个通道
print(corr2d_multi_in_out(X, K))
 
"""1x1卷积层
窗口大小为1x1的多通道卷积层，输⼊和输出具有相同的⾼和宽。输出中的每个元素来⾃输⼊中在⾼和宽上相同位置的元素在不同通道之间的按权᯿累加。
假设我们将通道维当作特征维，将⾼和宽维度上的元素当成数据样本，那么 卷积层的作⽤与全连接层等价。
"""
#使用全连接层中的举矩阵乘法来实现1x1卷积。
def corr2d_multi_in_out_1x1(X, K):
   c_i, h, w = X.shape
   c_o = K.shape[0]
   X = X.view(c_i, h * w)
   K = K.view(c_o, c_i)
   Y = torch.mm(K, X) # 全连接层的矩阵乘法
   return Y.view(c_o, h, w)
 
X = torch.rand(3, 3, 3)
K = torch.rand(2, 3, 1, 1)
Y1 = corr2d_multi_in_out_1x1(X, K)
Y2 = corr2d_multi_in_out(X, K)
print((Y1 - Y2).norm().item() < 1e-6)