![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 83
糖小豆子
做一个快乐的程序员,啃一口酱猪蹄忘记所有烦恼。
展开
-
LSTM原理复习整理
LSTM网络long short term memory,即LSTM,是为了解决长期以来问题而专门设计出来的,所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中,这个重复的结构模块只有一个非常简单的结构,例如一个tanh层。LSTM 同样是这样的结构,但是重复的模块拥有一个不同的结构。不同于单一神经网络层,这里是有四个,以一种非常特殊的方式进行交互。图中使用的各种...原创 2018-08-04 16:18:07 · 1295 阅读 · 0 评论 -
论文笔记《Part-of-Speech Tagging for Twitter with Adversarial Neural Networks》
这里记录近两个月阅读论文中,最贴近项目需求的几篇论文,此博为其中一篇,也是思想引用最多的一篇。 0、Paper basic information Authors:Tao Gui, Qi Zhang∗, Haoran Huang, Minlong Peng, Xuanjing Huang School: Fudan University Published 2017 in EMNLP 1...原创 2018-07-02 15:21:00 · 988 阅读 · 0 评论 -
Attention Model in NLP
这里整理一下最近看的有关Attention Model的资料,貌似网上的相关blog都大同小异。AM模型是2015年NLP领域重要的进展之一。一、引言感受:从认知心理学里面的人脑注意力模型引入的概念。人脑注意力模型:在某个特定的时刻t,意识和注意力的焦点是集中在画面的某一个部分上的。本质是一个资源分配模型。深度学习中的注意力模型工作机制,和看见心动异性时荷尔蒙驱动的注意力分配机制是一样的...转载 2018-10-12 09:59:29 · 430 阅读 · 3 评论 -
论文笔记《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》
Abstract介绍了一种新的语言表示模型BERT,它代表Transformers的双向编码器表示。与最近的语言表达模型不同,BERT是预先训练深层双向表示,通过联合调节所有层中左右的上下文。因此,可以通过一个额外的输出层对预训练的BERT表示进行微调,以创建适用于各种任务的最新模型,如回答问题和语言推理,而无需对特定于任务的体系结构进行实质性修改。BERT概念简单,经验丰富。它在11项自然语...翻译 2019-05-21 16:21:45 · 598 阅读 · 0 评论