Bert文本情感分类项目

项目内容

利用BERT进行中文文本情感分类，训练，测试和验证语句分别为5356，1000，1000条.

直接运行run_classifier.sh文件（

--do_train=true \
--do_eval=true\
--do_predict=false \

）

报错没找到数据包

解决：下载数据包，并放在对应路径

报错：没有contrib函数

解决：contrib函数是tensorflow1.x版本的函数，在tensorflow2.x中没有。所有文件中的

import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()

改成import tensorflow as tf

代码中发发现‘cuda’，不影响。该程序运行时会优先‘tpu’,失败再尝试'gpu','cpu'。

代码文件列表：

预训练入口：run.pretraining.py

fine-tuning入口：

squad.py用于MRC阅读理解任务

classifier.py分类任务

数据修改：直接运行电脑死机

解决：

预训练结果：

分类预测， 将sh运行参数改为以下即可

--do_train=false \
--do_eval=false \
--do_predict=true \

返回一个test_result.tsv（在输出文件夹，需要拿出来）

运行另外写的class_results.py测试结果：（分类）