![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LSTM
文章平均质量分 97
NLP饶了我
打工去了 随缘看信息
展开
-
【Pytorch】BERT+LSTM+多头自注意力(文本分类)
【Pytorch】BERT+LSTM+多头自注意力(文本分类)2018年Google提出了BERT[1](Bidirectional Encoder Representations from Transformers)预训练模型,刷新了11项NLP任务的精度,在NLP领域掀起一波预训练(pre-training)模型热潮。通过对BERT、RoBERTa、GPT等预训练模型微调(fine-tuning)或者作为文本的特征提取器进行迁移学习成为当时直到现在最流行的情感分析方法。原创 2022-02-25 00:26:42 · 21804 阅读 · 157 评论 -
详解自注意力机制及其在LSTM中的应用
详解自注意力机制及其在LSTM中的应用注意力机制(Attention Mechanism)最早出现在上世纪90年代,应用于计算机视觉领域。2014年,谷歌Mnih V等人[1] 在图像分类中将注意力机制融合至RNN中,取得了令人瞩目的成绩,随后注意力机制也开始在深度学习领域受到广泛关注,在自然语言处理领域,Bahdanau等人[2] 将注意力机制融合至编码-解码器中,在翻译任务取得不错的效果。而真正让注意力机制大火的是2017年,谷歌提出的Transformer[3],它提出了自注意力机制(self-At原创 2021-07-01 19:48:51 · 35884 阅读 · 19 评论 -
文本分类中CNN-LSTM融合原理
CNN-LSTM融合原理阅读这篇文章需要较扎实的CNN和RNN基础。怎么把CNN结合LSTM做文本分类,宏观的看,我以为有三种方法:CNN-> LSTM:将文本先经过CNN提取局部特征,再用LSTM提取这些局部特征的长距离特征,再经变换输入全连接层。LSTM-> CNN:先对文本用LSTM提取长距离特征,得到融合了上下文的新文本,再用CNN提取新文本的局部特征(有点像先Word2Vec再CNN),再经变换输入全连接层。CNN、LSTM同步:将CNN提取的局部特征和LSTM提取的长距离原创 2021-07-01 19:47:09 · 26387 阅读 · 50 评论