bilstm_crf中crf

本文探讨了在BiLSTM-CRF模型中,CRF层如何改善序列标注的准确性。通过引入转移分数,结合发射分数,CRF考虑了标签间的依赖关系,解决了LSTM单独预测时忽视序列约束的问题。损失函数方面,CRF的目标是最大化真实序列的得分,计算所有可能序列的得分并使用动态规划优化计算效率。
摘要由CSDN通过智能技术生成

首先如果我们想像一下,如果没有加crf,billstm能不能做序列标注,也可以。它其实就是转化为了一个多分类问题,但是加入了crf时,就加入了一个约束,效果会更准确。至于这个约束到底是什么?后文会提到。

围绕这两个问题来进行

  1. 效果为什么会更好?
  2. loss函数如何计算的?
    1. 线性crf又是什么?                

 问题1 看CRF的作用

以单词“中国”为例,它的真实标注应该是“B I",中国=“B I",但是经过lstm之后,选用得分最高对应的标签,得到的是”B B",这是通过得分的得到的标签,但这与实际的逻辑不符合。

在BIO问题下,i-organizatio和i-person显然是错误的。而CRF层能够学习到句子的前后依赖,从而加入一些约束来保证最终预测结果有效。

如何做到的?

通过引入转移分数来进行纠错。而不仅仅是根据lstm层的输出发射分数 去得到它的label。

转移分数是什么?

它表示的就是从标签B-PERSON到标签I-PERSON B-Organization I-Orgainization O END 标签的得分。

引入之后,词x的score=emit score+transimition score ,从而达到了纠错的效果。

定性分析:到了这一步,似乎我们通过BiLSTM已经找到每个单词对应的最大标签类别,但实际上,直接选择该步骤最大概率的标签类别得到的结果并不理想。原因在于,尽管LSTM能够通过双向的设置学习到观测序列之间的依赖,但softmax层的输出是相互独立的,输出

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值