pytorch中一维卷积conv1d,参数含义,为何转置
在Pytorch中,一维卷积是一种非常常用的运算,但是对于刚刚入门的新手,了解此函数的用法仍是一个比较费力的挑战。本文简单介绍一下此函数的常用参数的意义以及此函数的用法。
链接: cov1d函数的官方网站
本文以一个简单的例子作为介绍,现在应用的背景是二维平面上的点,每个batch的size为256,每一个训练数据包含20个点的二维坐标,那么原始输入的shape即为(256,20,2),现在的目的是对二维坐标做一个embedding,使每个点的维度从2维扩展成128维。官网上的部分截图如下所示:
因此这里重点关注
N
N
N,
C
C
C,
L
L
L的含义即可。
N
N
N表示batch的size,在本例中,也就是256;C代表通道数,因此本例中
C
i
n
=
2
C_{in}=2
Cin=2,
C
o
u
t
=
128
C_{out}=128
Cout=128;
L
L
L代表输入序列的长度,这里
L
i
n
=
20
L_{in}=20
Lin=20,因为本例中,只想将2维升到128维,因此可以控制卷积核的大小,保持
L
o
u
t
L_{out}
Lout不变。
综上,最后完成要求的代码如下所示:
embeddings = self.conv1d(inputs.permute(0, 2, 1)).permute(0, 2, 1)
这里inputs是一个 256 ∗ 20 ∗ 2 256*20*2 256∗20∗2的tensor,所以原始输入是 N ∗ L ∗ C N*L*C N∗L∗C的形式,因此要做转置运算。最后如果想输出的格式为 256 ∗ 20 ∗ 128 256*20*128 256∗20∗128,那还得做一次转置运算。这里的转置在很多深度学习代码中很常见,代码中经常转置来,转置去,初学者很容易绕进去,只需记住核心的一点就是,此函数是在哪个维度上进行操作,所以需要对维度进行相应的变换即可。一开始让笔者感到疑惑的也是这些转置运算,搞懂之后,便万变不离其宗了。