CRF Layer on the top of BiLSTM-4_trans

https://createmomo.github.io/2017/10/17/CRF-Layer-on-the-Top-of-BiLSTM-4/
2.3中,假设每个可能的标注序列有一个分值P(i),一共有N个可能的标注序列,总分值为如下:
在这里插入图片描述
很明显在N条可能的路劲中必然有一条是真正的标注序列。例如在1.2的例子中START B-Person I-Person O B-Organization O END 是真实的标签序列,而别的为错误的标签序列。e(Si)是第i个标签序列的分值(可能性)。
在训练过程中,crf损失函数有两个socre,真实标签序列的sorce(A)和所有路劲的分值总和(B)。我们要不断使A/B这个值变大。
要求e^(S(i))只需要求S(i)即可。
我们在原来的sentence=w(1)w(2)w(3)w(4)w(5)句子的首位添加起止符,w(0)和w(6)。
S(i)由两部分score组成,即S(i)=emission_score+transition_score
在这里插入图片描述
其中,x(index,label)表示第index个单词为label的score,而x(index,label)是来自于BiLSTM的输出。对于添加的起止符,x(0,Start)和x(6,end)将其设置为0.
在这里插入图片描述
t(label1->label2)表示label1转到label2的转移score。这些score是CRF层的参数。
现在可以通过两个分值计算到S(i)了,下一步就是怎么计算所有可能标签序列的总分值。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值