2017年09月_小妖精Fsky

原创 [ACL2017]Neural Word Segmentation with Rich Pretraining

中文分词的文章，非常有意思之所以有意思是因为这篇文章将transition-based的方法引入到了neural network, 而且用来分词，当然transition-based用来做parsing的有很多文章，本文的关键问题是如何表示word, P, 和character. 并不是初始化而已，也是本文的创新点，就是pretraining word embedding, P embedd

2017-09-23 11:58:59 1410

原创 [ACL2016]End-to-end Relation Extraction using LSTMs on Sequence and Tree Structures

框架图解释了文章的思想：１: 利用一个三层网络框架识别实体，实体用B(begin), I(Inside), L(Last), S(single), O(Outside)的表示, 第一层用BiLSTM更好的表示单词的语义，中间hidden层，输出层softmax, 输出层节点用的个数等于4×len(实体类型)+1，这个１的意思就是outside,　比如实体的类型有人名，就表示为B-PER, I-P

2017-09-22 16:43:27 1330

原创 [ACL2016]Relation Classification via Multi-Level Attention CNNs

同上一篇，都是用attention做关系抽取非常好的阅读笔记 https://zhuanlan.zhihu.com/p/22867750 http://blog.csdn.net/xg123321123/article/details/53163257

2017-09-21 11:02:15 1316

原创 [ACL2016]Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification

关系分类在自然语言处理领域是一个很重要的语义处理任务，目前state-of-the-art system非常依赖于lexical resources 比如WordNet或者dependency parser 和NER. 还有一个挑战是重要信息不知道在句中的什么位置。鉴于此，本文提出了Attention-based bidirectional long short-term memory netwo

2017-09-20 17:12:14 3619 3

原创 [2014]Sequence to Sequence Learning with Neural Networks

之所以看这篇文章是因为很多文章都引用了，后知后觉的发现原来是sequence to sequence的经典之作，以非常虔诚的态度读了一遍。之前RNN解决的问题：（单个RNN解决此问题）输入序列和输出序列长度一致，比如词性标注，命名实体识别等等，此类问题单个RNN即可解决，输出序列和输入序列对应但是还有另一类问题：（本文致力于解决的问题）输入序列的长度和输出的序列不一定长度相同，比如

2017-09-20 15:32:14 752

转载数学常数e的含义

e是一个重要的常数，但是它的直观含义却不像π那么明了。我们都知道，圆的周长与直径之比是一个常数，这个常数被称为圆周率，记作π=3.14159…，可是如果我问你，e代表了什么，你能回答吗？不妨先来看看维基百科是怎么说的：“e是自然对数的底数。”但是，你去看“ 自然对数 ”这个条目，得到的解释却是：“自然对数是以e为底的对数函数，e是一个无理数，约等于2.718281828。”这构成了循环定义，完全

2017-09-14 13:25:59 3202

原创 [ICLR2016]All You Need is a Good Init

有空更

2017-09-10 15:39:23 1470 2

原创 [EMNLP2015]A Neural Attention Model for Sentence Summarization

图片的高明之处就是形象地说明摘要的效果。压缩后的句子的每一个词对应原句子的哪些词。关于句子摘要目前有两种方法：extractive summarization 和abstractive summarization 每种方法的特点以及以往的做法： extractive summarization：crop out and stitch together, deletion-based sen

2017-09-10 09:59:08 775

原创 [ICLR2017]Tree-Structured Deconding with Doubly-Recurrent Neural Networks

本文的框架是： encode一个序列, decode一个tree structure, 并且在decode用了两个分开的recurrent neural network, 一个rnn 用于从model从根节点到当前节点i, 另一个rnn用于model 从最先开始生成的兄弟节点到目前节点i 。所以对应了paper的title doubly-recurrent Neural Networks, 具体

2017-09-10 09:17:08 775 1

原创 [ICLR2017]Deep Biaffine Attention for Neural Dependency Parsing

依存树解析任务目前有两种做法，一是Transition-based approach, 另一种就是graph-based方法；针对每种方法文中给出了将一句话解析成依存书的具体实现步骤，本文的方法是用的graph-based框架。本文的框架图： graph-based方法：从左向右解析句子，针对句中的每个词，找该词的head词（该词到head词之间的arc）以及从该词到head词之间的依存关系

2017-09-07 09:23:39 3071

转载 A Painless Q-learning Tutorial (一个 Q-learning 算法的简明教程)

本文是对 http://mnemstudio.org/path-finding-q-learning-tutorial.htm 的翻译，共分两部分，第一部分为中文翻译，第二部分为英文原文。翻译时为方便读者理解，有些地方采用了意译的方式，此外，原文中有几处笔误，在翻译时已进行了更正。这篇教程通俗易懂，是一份很不错的学习理解 Q-learning 算法工作原理的材料。第一部分：中文翻译

2017-09-06 13:10:55 327

原创 [ACL2017]Sequence-to-Dependency Neural Machine Translation

conventional NMT的翻译过程： (1)an encoder reads in source sentences of various lengths (1)encoder 读取变长的原句子 (2) 将其转换为中间隐变量表示： (3)计算aij_{ij}, 并计算出ct_t, 然后由decoder生成目标语言目前提出的NMT方法中大都致力于解决的问题包括 (1)out-of-v

2017-09-04 11:46:37 858

Deep Learning and NLP Farm