- 博客(2)
- 收藏
- 关注
RSS订阅原创 Transformer 系列二：Position Encoding 位置编码
如果单纯的使用词向量作为输入，自注意力机制的计算是忽略了序列中的位置信息的。本质上来看自注意力层计算的中间过程就是矩阵和矩阵之间的基础运算。这虽然极大的提升了计算效率，但是如果我们将序列的顺序打乱并不会影响自注意力层最后的计算结果，而这与序列性数据本身的特性是相悖的。因此作者在transformer架构的输入端引入了位置编码（Position Encoding）来将位置信息注入到词向量编码中，从而使自注意力层在提取特征信息时也能关注到位置这一重要信息。
2024-08-26 10:11:37
328
原创 Transformer 系列一：Self-Attention Mechanism 自注意力机制
先说注意力机制注意力机制的灵感来源于人类视觉和认知系统。想象一下，当你在阅读一篇文章时，你的眼睛和大脑会自然地聚焦在那些最重要的部分，比如标题、关键段落或图表。这个过程就像是你的大脑在分配“注意力”，以便快速抓住文章的要点。这是因为你的潜意识认为这些部分包含的信息最为丰富和直接。注意力机制正是模仿了这种选择性关注，它通过集中关注信息的关键部分来提取出更加重要的内容。
2024-08-23 17:42:29
1238
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人