ner 评估指标_2019-03 NER命令实体识别归纳

1. 基本概念

概念：一般来说，NER的标注列表为['O' ,'B-MISC', 'I-MISC', 'B-ORG' ,'I-ORG', 'B-PER' ,'I-PER', 'B-LOC' ,'I-LOC']。其中，一般一共分为四大类：PER(人名)，LOC(位置)，ORG(组织)以及MISC，而且B表示开始，I表示中间，O表示单字词。

评估指标：一般看Acc、Precision、Recall、F1值和ROC、AUC。但是由于在很多场景中，'O'的这个label出现次数是最多的，所以光看Acc肯定是没用的咯！

CRF学到的constrains：

1. 句子首个单词接下来的不是“B-“ 就是 “O”, 而非 “I-“

2. “B-label1 I-label2 I-label3 I-…”中的label1, label2, label3 … 应该是相同的实体标签。

3. 等等很多标签的搭配问题。

2. 数据清洗

1. 控制句子长度，100左右吧。

2. 符号清理。

3. 舍去全是‘O’的标注句子。

4. 如果对数字识别不做要求，干脆转换成0进行识别，做成统一符号。

3. 模型

当前来讲，主流的有两种：一种是BiLSTM+CRF的；另一种是BERT直接预测的。当然，对于BERT模型来说，在其上层也是可以再加CRF进行限制一下的。不过本人还没进行实战的试验，后续把结果整理整理。

4. 评估指标代码

对于评估的指标，上面已经说到是Acc、Precision、Recall和F1值。但是对于多个分类时，理论上要一个类别一个类别地去计算对应的Acc、Precision、Recall和F1值。其中需要了解的理论是混淆矩阵(confusion matrix)的概念，如下所示：

confusion matrix.png

如有150个样本数据，这些数据分成3类，每类50个。分类结束后得到的混淆矩阵为上图所示。第一行第一列中的43表示有43个实际归属第一类的实例被预测为第一类，同理，第二行第一列的2表示有2个实际归属为第二类的实例被错误预测为第一类。

所以通过混淆矩阵来得到各个评估指标，拿precision这个指标来举例，其他的同理：

from tensorflow.python.ops.metrics_impl import _streaming_confusion_matrix

def precision(labels,

predictions,

num_classes,

pos_indices=None, ## 这里表示要计算指标的label对应的index

weights=None,

average='micro'):

cm, op = _streaming_confusion_matrix(labels, predictions, num_classes, weights)

pr, _, _ = metrics_from_confusion_matrix(cm, pos_indices, average=average)

op, _, _ = metrics_from_confusion_matrix(op, pos_indices, average=average)

return (pr, op)

def metrics_from_confusion_matrix(cm, pos_indices=None, average='micro', beta=1):

num_classes = cm.shape[0]

if pos_indices is None:

pos_indices = [i for i in range(num_classes)]

if average == 'micro':

return pr_re_fbeta(cm, pos_indices, beta)

elif average in {'macro', 'weighted'}:

precisions, recalls, fbetas, n_golds = [], [], [], []

for idx in pos_indices:

pr, re, fbeta = pr_re_fbeta(cm, [idx], beta)

precisions.append(pr)

recalls.append(re)

fbetas.append(fbeta)

cm_mask = np.zeros([num_classes, num_classes])

cm_mask[idx, :] = 1

n_golds.append(tf.to_float(tf.reduce_sum(cm * cm_mask)))

if average == 'macro':

pr = tf.reduce_mean(precisions)

re = tf.reduce_mean(recalls)

fbeta = tf.reduce_mean(fbetas)

return pr, re, fbeta

if average == 'weighted':

n_gold = tf.reduce_sum(n_golds)

pr_sum = sum(p * n for p, n in zip(precisions, n_golds))

pr = safe_div(pr_sum, n_gold)

re_sum = sum(r * n for r, n in zip(recalls, n_golds))

re = safe_div(re_sum, n_gold)

fbeta_sum = sum(f * n for f, n in zip(fbetas, n_golds))

fbeta = safe_div(fbeta_sum, n_gold)

return pr, re, fbeta

else:

raise NotImplementedError()

##TODO: 这里是对单个类别计算指标的核心代码

def pr_re_fbeta(cm, pos_indices, beta=1): # for example: pos_indices= [2]

"""Uses a confusion matrix to compute precision, recall and fbeta"""

num_classes = cm.shape[0]

neg_indices = [i for i in range(num_classes) if i not in pos_indices]

cm_mask = np.ones([num_classes, num_classes])

cm_mask[neg_indices, neg_indices] = 0

diag_sum = tf.reduce_sum(tf.diag_part(cm * cm_mask))

cm_mask = np.ones([num_classes, num_classes])

cm_mask[:, neg_indices] = 0

tot_pred = tf.reduce_sum(cm * cm_mask)

cm_mask = np.ones([num_classes, num_classes])

cm_mask[neg_indices, :] = 0

tot_gold = tf.reduce_sum(cm * cm_mask)

pr = safe_div(diag_sum, tot_pred)

re = safe_div(diag_sum, tot_gold)

fbeta = safe_div((1. + beta ** 2) * pr * re, beta ** 2 * pr + re)

return pr, re, fbeta

def safe_div(numerator, denominator):

"""Safe division, return 0 if denominator is 0"""

numerator, denominator = tf.to_float(numerator), tf.to_float(denominator)

zeros = tf.zeros_like(numerator, dtype=numerator.dtype)

denominator_is_zero = tf.equal(denominator, zeros)

return tf.where(denominator_is_zero, zeros, numerator / denominator)

5. 对ROC的理解

先结合下图二分类的混淆矩阵，阐述一下含义：

混淆矩阵.png

这里的T表示真实和预测完全匹配了；而F表示真实和预测的不匹配了。而且，第一列用P表示预测为正，第二列用N表示预测为负。

对于ROC曲线，是通过TPR和FPR这两个指标来衡量综合得到的：

TPR=TP/(TP+FN)：表示预测为正实际为正的占总正样本的比例。

FPR=FP/(FP+TN)：表示预测为正实际为负的占总负样本的比例。

则在ROC曲线中，横坐标是FPR，纵坐标是TPR

ROC.png

理解以上图，需要结合二分类中的阈值来阐述：当分类阈值变大时候，预测为正类的样本会减少，那么带来TP、FP这两个都是预测为正的指标也变小，所以最后TPR=0，FPR=0；当分类阈值变小时候，预测为正类的样本会增加，那么带来TP、FP这两个都是预测为正的指标也变大，所以最后TPR=1，FPR=1。

所以最终会有图上两个极端的点(0，0)和(1，1)，那么对于(0，1)这个点来说，表示的是TP=1、FP=0的情况，这是分类模型想要达到的最为理想的情况。所以如果ROC曲线上的某一点距离理想点(0，1)最近，那么就是设定分类模型中阈值最合适的点。

ROC的作用很大，不仅以上说的可以调节出最优的分类阈值，还可以解决类别不平衡现象。一个类别的样本数量增加很多倍时，ROC曲线基本是保持不变的。

5. 对AUC的理解

AUC (Area Under Curve) 被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。而它的作用是：使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。