Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks

主要贡献

1. 提出使用PCNN来自动提取特征。
2. 往PCNN中加入multi-instance learning，用来解决远程监督引发的错误标签问题。
3. 提出分段进行max pooling，从而考虑两个Entity之间的结构特征。

作者提出，之前关于关系分类的方法主要分为2种：
1. 基于特征的方法，这种方式对人工特征向量的要求较高，需要为数据集找出一种合适的特征表示。
2. 基于kernel的方法，这种方式可以对输入进行丰富的表示，例如句法树。它能够通过核函数来提特征，当然也有很多核函数被提出，例如：convolution tree kernel，subsequence kernel，dependency tree kernel

网络架构

以上是PCNN的网络架构，主要分为四部分组成：Vector representation、Convolution、Piecewise max pooling、Softmax classifier.

Vector representation

1. Word Embeddings:采用Wrod2Vec。
2. Position Embeddings:采用当前词到两个目标词的距离，2维。
   上图中展示的Vector representation中，Word Embedding维度为4，Position Embeddings维度为2。向量总维度为$d$ = 6。

Convolution

作者给出如下定义：
1. 一个feature map的参数为$\mathbf{w} \in \mathbb{R}^{w*d}$。
2. 一句话中单词的数量为$s$，一个feature map卷积完得到结果$\mathbf{c} \in \mathbb{R}^{s-w+1}$
3. 定义了n个feature map W={ w1,w2,⋯,w