概述
a)和b)分别为2D卷积用于单通道图像和多通道图像的情况(多通道图像可以指同一张图片的3个颜色通道,也可以指多张堆叠在一起的图片)。对于每一个滤波器(卷积核),输出一张二维的特征图,多通道的信息被完全压缩了。输出的通道数由滤波器个数决定,有几个滤波器,输出就有几个通道。
而c)中3D卷积的输出仍然为3D的特征图。
现在考虑一个视频段输入,其大小为 c∗l∗h∗w ,其中c为图像通道(一般为3),l为视频序列的长度,h和w分别为视频的宽与高。进行一次kernel_size为3∗3∗3,stride为1,padding=‘same’,n_filters=K的3D 卷积后,输出的大小为K∗l∗h∗w。池化同理。
卷积核的维度
卷积核的维度指的的进行滑窗操作的维度,而滑窗操作不在channel维度上进行,不管有几个channel,它们都共享同一个滑窗位置(虽然2D多channel卷积的时候每个channel上的卷积核权重是独立的,但滑窗位置是共享的)。所以在讨论卷积核维度的时候,是不把channel维加进去的。
2D conv的卷积核就是(c, k_h, k_w),因此,对于RGB图像做2D卷积,卷积核可以是conv2D(3,3) 而不该是conv3D(3,3,3).
3D conv的卷积核就是(c, k_d, k_h, k