![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP学习:transformer
文章平均质量分 84
kodakun
新手上路,一切为研究生准备
展开
-
Transformer
Sequence to Sequence输入是一个序列,输出是一个序列。输出序列的长度取决你的模型。对应的,其可以应用在语音识别、机器翻译和语音翻译等场景。Is it a sequence?如上图可知,我们可以看到模型输入的是 deep learning is very powerful。在处理时,deep 与 learning组合起来是一个名词,very 与 powerful组合起来是一个形容词,而 is 与 very powerful 组合起来是一个动词。最后将 deep learni转载 2021-09-14 21:49:20 · 255 阅读 · 0 评论 -
Self-attention
Vector Set as Input1、文字处理在文字处理时,我们所输入的Input是一个长度不定的句子,我们将这个句子中的每一个出现的词汇描绘成一个vector,这样就将一个句子中出现的词汇转变为了一个vector set作为Input。Self-AttentionSelf-Attention的运作方式就是:Self-Attention会利用一整个Sequence的资讯,然后你Input几个Vector,它就输出几个Vector,比如说你这边Input一个深蓝色的Vector,这边就给你一个转载 2021-09-13 22:04:57 · 160 阅读 · 0 评论