3D卷积笔记

3D卷积笔记

3D卷积
学习源于：
https://zhuanlan.zhihu.com/p/366744794

一、多通道2D卷积

单通道即对应单个卷积核
多通道即对应多个卷积核，其中每个卷积核对应一个channel，所以每个channel都会产生一个计算结果

对于二维图片(channel, h, w) ，通常有三个通道组成即channer=3，其中对于每个channel都会有一个卷积核(如上图)，
且每个卷积核的参数不同，所以这里产生三个计算结果，每个卷积核的计算结果相加(如下图)，所以将会产生(1, h, w)

这里的卷积核就可以看作是(3，3，3)，即有3个3x3大小的二维卷积核
注意：
这里有一个概念容易混淆：filter与kernel
我们常说设置kernel，即一个二维的卷积核，而filter是kernel的集合，说是集合是因为在filter中将会有许多不同的kernel

二、3D卷积

学习3D卷积，从2D卷积延伸：3D卷积与2D卷积的最大区别即多了一个时间维度，
在2D卷积中，“2D”的主要意义是，卷积核在2D空间移动(filter的深度=输入的深度)，而在3D卷积中，卷积核将在3D空间移动(filer的深度<输入层的深度)，所以最后产生的结果也是3D的
eg：[pytorch]
输入: (N, C, T, H, W)
卷积核:(Out, C, T, H, W)
输出:(N, Out, T, H, W)
其中， N为batch_size, C为channel, T为时间维度， HW分别为帧高与宽
输入: (1, 3, 32, 224, 224)
卷积核:(64, 3, 3, 3, 3) stride=1 padding=1 #这个卷积核简称为3x3x3
输出:(1, 64, 32, 224, 224)

总结

2D与3D卷积的不同在于卷积核如何移动，3D卷积比2D卷积多了一个时间维度，所以3D卷积相较于2D卷积，能够更加的融合时序信息。