《原始论文:Classifying Relations by Ranking with Convolutional Neural Networks》
《原始论文:Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks》
一、概述
1、分类损失函数
-
Softmax
-
weighted softmax loss
-
soft softmax loss
-
L-Softmax loss
-
L2-constrained softmax loss
-
Contrastive Loss
2、问题的提出
CNN关系识别模型中是否存在一种更好的衡量损失函数?
远程监督学习中生成数据如何减轻噪音的影响?
CNN关系识别是否有更好的捕捉特征的结构?
3、研究成果
CRCNN通过改造损失函数,去除wordnet等复杂原始特征,SemEval-2010 Task 8 数据集做实验,达到较好的效果。
PCNN 通过多示例学习及将特征分片式提取在NYT数据集上获得较好的效果
4、历史意义
CRCNN通过rankloss将对CNN模型改造并通过数据验证其效果的可行性
PCNN是远程监督学习中运用神经网络的较早的实践,并提供了一个较好的baseline
5、CRCNN摘要核心
CRCNN比CNN+softmax更有效
通过移除了人造类别other提高了准召
使用简单特征达到the state-of-the-art的效果
6、PCNN摘要核心
提出多示例学习缓解远程监督学习数据噪声
提出一种新的网络结构PCNN
二、CRCNN模型
1、CRCNN模型结构
网络结构:
- 位置特征
- 词特征
- 卷积+最大池化
- Rankloss最大化正负样本边界
- 对于other类特殊处理:loss 设置为0
2、CRCNN实验
三、PCNN模型
1、PCNN网络结构
网络结构:
- 词向量
- 位置向量
- 卷积
- 分片池化
- dropout
2、Piecewise Max Pooling
3、多示例学习
4、PCNN实验
与其他方法相比, Piecewise Max Pooling +Multi-instance Learning可以得到更好的结果
四、论文总结
1、关键点
CRCNN提出了新的损失函数
PCNN将多示例学习引入远程监督学习中
PCNN提出了新的模型结构
2、创新点
CRCNN验证了rankloss在关系识别问题上的有效性
PCNN模型结构成为远程监督学习的baseline
PCNN将多示例学习和关系识别联系在一起并验证其作用
3、启发点
更有效的网络结构与更符合任务的损失函数往往来自于对于baseline缺陷的理解和改进
多示例学习对于噪音数据的有效性
优化模型的方向:1.特征,2. 评估损失,3.网络结构,4.对于任务的定义与理解