BERT模型在多类别文本分类时的precision, recall, f1值的计算

最新推荐文章于 2024-05-04 21:51:39 发布

weixin_30732825

最新推荐文章于 2024-05-04 21:51:39 发布

阅读量982

点赞数

原文链接：http://www.cnblogs.com/jiangxinyang/p/10341392.html

版权

BERT模型在处理不平衡数据的多类别文本分类问题中表现出色，提升了F1值从50%到65%。在TensorFlow中，通过自定义方法计算混淆矩阵和评估指标，包括precision、recall和F1值，以适应BERT的多类别分类场景。

摘要由CSDN通过智能技术生成

　　BERT预训练模型在诸多NLP任务中都取得最优的结果。在处理文本分类问题时，即可以直接用BERT模型作为文本分类的模型，也可以将BERT模型的最后层输出的结果作为word embedding导入到我们定制的文本分类模型中（如text-CNN等）。总之现在只要你的计算资源能满足，一般问题都可以用BERT来处理，此次针对公司的一个实际项目——一个多类别（61类）的文本分类问题，其就取得了很好的结果。

　　我们此次的任务是一个数据分布极度不平衡的多类别文本分类（有的类别下只有几个或者十几个样本，有的类别下又有几千个样本），在不做不平衡数据处理且不采用BERT模型时，其取得的F1值只有50%，而在不做不平衡数据处理但采用BERT模型时，其F1值能达到65%，但是在用bert模型时获得F1值时却存在一些问题。

　　在tensorflow中只提供了二分类的precision，recall，f1值的计算接口，而bert源代码中的run_classifier.py文件中训练模型，验证模型等都是用的estimator API，这些高层API极大的限制了修改代码的灵活性。好在tensorflow源码中有一个方法可以计算混淆矩阵的方法，并且会返回一个operation。注意：这个和tf.confusion_matrix()不同，具体看源代码中下面这段代码：

        elif mode == tf.estimator.ModeKeys.EVAL:

            def metric_fn(per_example_loss, label_ids, logits, num_labels):
                predictions = tf.argmax(logits, axis=-1, output_type=tf.int32)
                accuracy = tf.metrics.accuracy(
                    labels=label_ids, predictions=predictions)
　　　　　　　　　　
　　　　　　　　　　# 这里的metrics时我们定义的一个python文件，在下面会介绍

                conf_mat = metrics.get_metrics_ops(label_ids, predictions, num_labels)

                loss = tf.metrics.mean(values=per_example_loss)
                return {
                    "eval_accuracy": accuracy,
                    "eval_cm": conf_mat,
                    "eval_loss": loss,