零基础入门NLP-新闻文本分类

1、Transformer

Transformer是一种新的编码器-解码器架构,它仅使用注意力机制而不是RNN来编码每个位置,并关联有关其自身的输入和输出的两个远端单词,然后可以并行化处理,因而加快训练。
2、Attention

       模仿人类视觉注意力机制,学习出一个对图像特征的权重分布,再把这个权重分布施加在原来的特征上,为后面任务如图像分类、图像识别等提供不同的特征影响,使得任务主要关注一些重点特征,忽略不重要特征,提高任务效率。

       1、给定一组向量集合values,以及一个向量query,attention机制是一种根据该query计算values的加权求和的机制。

       2、attention的重点就是这个集合values中的每个value的“权值”的计算方法。

       3、有时候也把这种attention的机制叫做query的输出关注了(或者说叫考虑到了)原文的不同部分。(Query attends to the values)

 

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页