关于pytorch中nn.linear输入维度的问题

最新推荐文章于 2024-08-05 15:23:39 发布

CG大魔王

最新推荐文章于 2024-08-05 15:23:39 发布

阅读量1.2k

点赞数 2

文章标签： pytorch 深度学习机器学习

本文链接：https://blog.csdn.net/qq_41027830/article/details/130788275

版权

在尝试基于注意力机制的模型时，作者遇到一个问题，即如何将词向量（batch_size,seq_size,embeding_size）转换为QKV矩阵。他们发现nn.linear虽能处理多维输入，但只改变最后一维，例如输入(20,10,30)通过nn.linear(30,18)后，输出维度变为(20,10,18)。这揭示了在处理深度学习模型时理解输入输出维度的重要性。

摘要由CSDN通过智能技术生成

因为最近看了一下attention博客，寻思挺简单，想动手写一个，才动手就发现有个问题，对于Q,K,V矩阵，看似只是个简单的前馈网络结构就能实现，但是在多数问题中，输入的都是词向量，也就是说，输入数据的结构是(batch_size，seq_size，embeding_size)，而nn.linear一般接受的输入格式是（输入神经元个数，输出神经元个数）。

经过查验，这里我发现nn.linear其实可以接受任意维度输入，但只改变最后一维的输出，比如我输入为（20，10, 30），这里20为一个batch大小，10为单词量，30为词向量维度，设输出为18个神经元

则nn.linear（30,18）

输出的维度为（20,10,18）