回顾
在上一节中,我们知道CRF层可以从训练数据集中学习一些约束,以确保最终的预测实体标签序列有效。
约束可能是:
- 句子中第一个单词的标签应以“ B-”或“ O”开头,而不是“ I-”
- 在此模式下,“ B-label1 I-label2 I-label3 I-…”应与label1,label2,label3…是相同的命名实体标签。例如,“ B-Person I-Person”有效,但“ B-Person I-Organization”无效。
- “ O I-label”无效。一个命名实体的第一个标签应以“ B-”而不是“ I-”开头,换句话说,有效模式应为“ OB标签”。也就是说,O后面不能跟I。
- 其他有可能的
2. CRF层
在CRF层的损失函数中,我们有两种计分类型。这两个分数是CRF层的关键概念。
2.1排放分数
第一个是排放分数。这些发射分数来自BiLSTM层。如图2.1所示,w0的得分w0 标为B-Person的是1.5。
为方便起见,我们将为每个标签提供一个索引号,如下表所示。
Label | Index |
---|---|
B-Person | 0 |
I-Person | 1个 |
B-Organization | 2 |