关系抽取文章笔记(1)——Relation Classification via Multi-Level Attention CNNs

1.1研究动机

        切入点是针对当时模型依赖多种人工feature,从而在网络结构,主要是attention设计,以及loss fuction的设计上去针对性的优化。主要设计了input层和pooling层的一个attention方法,另外对loss function也做出了针对性的改进。在semval 2010上达到了88的F1值。

作者对其的描述是:a simple yet effective architecture that does not require dependency parsing or training multiple models, 一个简单却高效的模型,同时不需要依赖解析或者训练多个复杂模型。

2.研究方法

2.1input层

        本文看作是对CNN做关系抽取的改进,采用word+pos1+pos2作为输入。

2.2 loss function

        

        loss function最小化了预测输出和真实标签之间的差距,同时最大化了与所选错误类别之间的距离,1即为边界

2.2两种attention

        1.基于对角矩阵的主要注意机制用于捕获单词与目标实体的相关性。对于生成的输出矩阵,然后应用卷积运算以捕获上下文信息,例如相关的 n-gram,然后进行最大池化。

        2.二级注意力池层用于根据注意力池矩阵从输出中确定用于关系分类的最有用的卷积特征。

 

具体公式参考:关系抽取专题(三)Relation Classification via Multi-Level Attention CNNs_有莘不殁的博客-CSDN博客

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值