![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 76
cqbzcsq
这个作者很懒,什么都没留下…
展开
-
注意力机制略解
本文简要地介绍了注意力机制,Q、K、V矩阵的含义,注意力评分函数的计算方式,并提及了Transformer的相关内容原创 2024-04-29 00:02:30 · 1464 阅读 · 0 评论 -
seq2seq架构略解
在预测时,在第一步预测完毕之后,使用的dec_state会继承解码器RNN的隐藏层状态,而不是保持编码器所获取的隐藏层H1的信息。若数据集为{ }(AB语言对应的句子组)A语言的单词序列+结束符(a1,a2,a3,a4,a5,)开始符+B语言的单词序列(,b1,b2,b3,b4,b5)A语言的单词序列+结束符(a1,a2,a3,a4,a5,)B语言的单词序列(b1,b2,b3,b4,b5,)原创 2024-04-26 21:43:48 · 467 阅读 · 0 评论