embed,encode,attend,predict
本文介绍了2016年左右的主流nlp处理方案:表示、编码、注意力机制、预测,并给出自然语言推断和文本分类两个问题上的SOTA的演进过程。
具体来讲:
表示 使得id转化为向量,便于程序进行处理;
编码 双向rnn/lstm/gru将稀疏的one-hot向量转化成稠密短向量;
注意力机制 代替pool/sum操作,将矩阵转化为一维向量,并保存了上下文信息;
预测 结合具体问题可以为0/1、...
原创
2019-11-29 11:40:14 ·
165 阅读 ·
0 评论