![](https://img-blog.csdnimg.cn/8979757fc99244db95241df9892f6127.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
图解NLP
文章平均质量分 96
图解NLP中各种主流模型
summer_45
这个作者很懒,什么都没留下…
展开
-
图解Attention
本文通过基于RNN的seq2seq模型,引出该类模型在处理长序列文本时所展示的不足(单向量难以保存整个序列的信息),进而引出结合注意力机制的解码器进行改造传统的RNN结构,注意力机制本质上是一个向量在一组向量集合中,通过某种计算规则算出该向量与该组向量内的所有向量的相似度,然后将相似度作为权重,对该组向量进行加权,实现有重点地关注输入序列。这种实现方式就保证了整个输入序列中所有的单词都有机会被关注到(因为都在这一组向量集合中),从而解决了单向量难以保存整个序列的信息。原创 2023-09-07 14:25:21 · 47 阅读 · 0 评论 -
图解transformer
基于RNN结合Attention的seq2seq模型的缺点:无法对整个序列输入进行并行计算。本文介绍了Transformer模型,他是基于编码器-解码器结构的用于解决seq2seq的一种架构。它结合了注意力机制,使得模型并行计算能力增强;它结合了多头注意力机制,使得模型能够关注到更多方面的信息。原创 2023-09-07 16:26:38 · 342 阅读 · 0 评论