深度学习笔记 —— 卷积层里的多输入多输出通道

最新推荐文章于 2024-08-12 21:46:06 发布

Whisper_yl

最新推荐文章于 2024-08-12 21:46:06 发布

阅读量2k

点赞数 2

分类专栏： # 深度学习文章标签：深度学习

本文链接：https://blog.csdn.net/lightindarkness/article/details/124197595

版权

深度学习专栏收录该内容

23 篇文章 10 订阅

订阅专栏

这篇博客介绍了卷积神经网络中的互相关运算，包括多通道输入和输出的情况，并探讨了1x1卷积层的作用。通过示例展示了如何进行多通道输入和输出的互相关运算，并解释了1x1卷积不识别空间信息的特点。此外，还提供了1x1卷积的实现代码，并验证了其正确性。1x1卷积在保持输出尺寸不变的情况下可以增加通道数，用于信息融合。

摘要由CSDN通过智能技术生成

输出是一个单通道，因为不管输入有多少个通道，最后都会把结果相加

因为1x1卷积层每次只识别一个像素，而不查看该像素与周围像素的关系，所以它并不识别空间信息

import torch
from d2l import torch as d2l


# 多通道互相关运算
def corr2d_multi_in(X, K):
    return sum(d2l.corr2d(x, k) for x, k in zip(X, K))


# 验证互相关运算的输出
X = torch.tensor([[[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]],
                  [[1.0, 2.0, 3.0], [4.0, 5.0, 6.0], [7.0, 8.0, 9.0]]])
K = torch.tensor([[[0.0, 1.0], [2.0, 3.0]], [[1.0, 2.0], [3.0, 4.0]]])
print(corr2d_multi_in(X, K))


# 多个通道的输出的互相关函数
def corr2d_multi_in_out(X, K):
    return torch.stack([corr2d_multi_in(X, k) for k in K], 0)


K = torch.stack((K, K + 1, K + 2), 0)
print(K.shape)
print(corr2d_multi_in_out(X, K))


# 1x1卷积
def corr2d_multi_in_out_1x1(X, K):
    c_i, h, w = X.shape
    c_o = K.shape[0]
    X = X.reshape((c_i, h * w))
    K = K.reshape((c_o, c_i))
    Y = torch.matmul(K, X)
    return Y.reshape((c_o, h, w))


X = torch.normal(0, 1, (3, 3, 3))
K = torch.normal(0, 1, (2, 3, 1, 1))
Y1 = corr2d_multi_in_out_1x1(X, K)
Y2 = corr2d_multi_in_out(X, K)
assert float(torch.abs(Y1 - Y2).sum()) < 1e-6

输入的高宽都减半的情况下，通常会把输出的通道数加一倍。（空间信息压缩了，把提取出来的信息保存在更多的通道里）