NLP-学习笔记（二）

常规序列标注

一般的序列标注算法的格式有BOI，IOBES，BMES等，其中，B表示这个词处于一个实体的开始(Begin), I 表示内部(inside), O 表示外部(outside), E 表示这个词处于一个实体的结束为止， S 表示，这个词是自己就可以组成一个实体(Single)，一个简单的BOI举例：

'Selegiline','-','induced','postural','hypotension','in','Parkinson',"'",'s','disease',':','a','longitudinal','study','on','the','effects','of','drug','withdrawal','.'

['B-Chemical','O','O','B-Disease','I-Disease','O','B-Disease','I-Disease','I-Disease','I-Disease','O','O','O','O','O','O','O','O','O','O','O']

GlobalPointer标注

具体来说，假设要识别文本序列长度为n，简单起见先假定只有一种实体要识别，并且假定每个待识别实体是该序列的一个连续片段，长度不限，并且可以相互嵌套（两个实体之间有交集），那么该序列有多少个“候选实体”呢？不难得出，答案是n(n+1)/2个，即长度为n的序列有n(n+1)/2个不同的连续子序列，这些子序列包含了所有可能的实体，而我们要做的就是从这n(n+1)/2个“候选实体”里边挑出真正的实体，其实就是一个“n(n+1)/2选k”的多标签分类问题。如果有m种实体类型需要识别，那么就做成m个“n(n+1)/2选k”的多标签分类问题。这就是GlobalPointer的基本思想，以实体为基本单位进行判别，如图片所示。【待完善】

序列标注算法的模型效果评估

常见的序列标注算法的模型效果评估指标有准确率（accuracy）、查准率(percision)、召回率(recall)、F1值等，计算的公式如下：

1. 准确率: accuracy = 预测对的元素个数/总的元素个数
2. 查准率：precision = 预测正确的实体个数 / 预测的实体总个数
3. 召回率：recall = 预测正确的实体个数 / 标注的实体总个数
4. F1值：F1 = 2 *准确率 * 召回率 / (准确率 + 召回率)

举个例子，我们有如下的真实序列y_true和预测序列y_pred，如下：

y_true = ['O', 'O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'O', 'B-PER', 'I-PER']
y_pred = ['O', 'O', 'B-MISC', 'I-MISC', 'B-MISC', 'I-MISC', 'O', 'B-PER', 'I-PER']

列表中一个有9个元素，其中预测对的元素个数为6个，那么准确率为2/3。标注的实体总个数为2个，预测的实体总个数为3个，预测正确的实体个数为1个，那么precision=1/3, recall=1/2, F1=0.4。
在Python中，也有相应的序列标注算法的模型效果评估的第三方模块，那就是seqeval。

from seqeval.metrics import f1_score
from seqeval.metrics import precision_score
from seqeval.metrics import accuracy_score
from seqeval.metrics import recall_score
from seqeval.metrics import classification_report

y_true = [['O', 'O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'O', 'B-PER', 'I-PER']]
y_pred = [['O', 'O', 'B-MISC', 'I-MISC', 'B-MISC', 'I-MISC', 'O', 'B-PER', 'I-PER']]

print("accuary: ", accuracy_score(y_true, y_pred))
print("p: ", precision_score(y_true, y_pred))
print("r: ", recall_score(y_true, y_pred))
print("f1: ", f1_score(y_true, y_pred))
print("classification report: ")
print(classification_report(y_true, y_pred))

输出如下：