AFast and Accurate Dependency Parser using Neural Networks论文笔记

基本信息

作者	D Chen	doi
发表时间	2014	期刊	EMNLP
网址	https://emnlp2014.org/papers/pdf/EMNLP2014082.pdf

研究背景

1. What’s known 既往研究已证实
传统的dp方法依存句法分析特征向量稀疏，特征向量泛化能力差，特征计算消耗大，并且是人工构建的稀疏特征。

2. What’s new 创新点
使用密集特征作为神经网络（NN）输入的方法，构建贪婪依存句法解析器。使用的是少量的密集特征，处理速度较快。

3. What’s are the implications 意义
用神经网络做transition-based贪心模型可以缓解特征向量泛化能力差，特征计算消耗大的问题，并且准确率提高，速度变快。

研究方法

1. Transition-Based Dependency Parsing
一个词A有一个箭头指向另外一个词B， 箭头上通常有标签(label)，这些标签表示语法关系，比如主语，同位语等等。箭头连接的两个词有head（高级）和dependent（低级）的区别。而这些箭头称为dependency。
通常一个句子中加一个假的root，这样每个单词dependent于另一个节点。通常这些依存关系会形成一棵树（连通，非循环，一个根结点）。对于dependency parsing有一个定义是projectivity，叫投影。如果这些箭头没有交叉，则称这个树是projective的。
He就dependent于has，因为has说明了he要干嘛，所以has是head。而he是has的名词主语(nominal subjective)，就是label。可以看出图中的关系形成了一棵树。

2. Neural Network Based Parser
通过现有的信息，预测出下一步的transition。输入由三部分组成，词，词的词性，词的箭头的label，全都是embedding的形式。分为了输入层、隐藏层（ cube激活函数）、softmax层。

结果与讨论

1. 用神经网络做transition-based贪心模型缓解了特征向量泛化能力差，特征计算消耗大的问题，并且准确率提高，速度变快。

个人思考与启发

可以尝试用神经网络去解决一些其他问题。

重要图

文献中重要的图记录下来

一个基于转换的依赖项解析的示例。左上:期望的依赖树，右上:中间配置，底部:弧线标准系统的转换序列

我们的神经网络架构