NLP文本分析(文本分类与句子评分)

在线课堂质量评估文本分析

文本分析的任务是对一堂在线课的师生对话进行分析，得到问答、讲堂和纠错三个方面的定性评估。

---

更新

Apr 28, 2020

• 当前版本: 0.1.0, 初始版本。

目录

章节	内容
简介	项目简介
工作流程	文本分析整体工作流程
快速开始	举例展示模型用法
模型效果	在样本数据集上模型效果展示
已知问题	尚未解决的问题

简介

在线课堂质量评估这个项目分成2块，分别是语音分析和图文分析，语音分析目前是最优先需求。

语音分析的任务是对一堂在线课的师生对话进行分析，得到问答、讲堂和纠错三个方面的定性评估。这里第一步是语音转文本，这一步我们暂时不管，我们的研究对象就是转换后的文本。以问答为例，首先识别文本中是问答类型的文本段，并判断该文本段中学生回答的好坏，学生回答问题的积极性如何。

工作流程

• Stage 1 : 项目开始前的准备工作:

  1. 获取数据
  2. 原始数据预处理

• Stage 2 : 使用BERT预测问答句：

  1. 训练BERT分类模型
  2. 调用模型预测问答结果(其中只有老师的话会被判断是否为问句，学生的话全不为问句)

• Stage 3 : 对学生回答进行评分：

  1. 提供两种评分模型接口：
  • tf-idf计算句子评分
  • Rake计算句子评分

• Stage 4 : 将学生回答评分转换为一节课堂的得分

  1. 将第二步中得到的问答句组合成一个对话片段
  2. 通过正则模板匹配将问句分为问答、讲题、纠错三类
  3. 对这个对话片段进行评分avgscore(学生回答总分score/学生回答句子数avg)

快速开始

用两个简单示例展示用法。

1. 原始未处理csv数据(慢)

elaboration_scores, elaboration_res, error_correction_scores, error_correction_res, qna_scores, qna_res = pipeline('example.csv')

2. 已经做好分类的csv数据(快)

data = pd.read_csv('example.csv', encoding="utf-8", header=None)
elaboration_scores, elaboration_res, error_correction_scores, error_correction_res, qna_scores, qna_res = scr_mod(data)

模型效果

我们以部分问答qna的结果为例展示模型效果。

qna_scores结果

序号	课程id	得分	等级
0	2745909	1.521295245	4
1	2791166	0.957494166	2
2	2837090	1.696191774	4
3	2837189	0.896077756	2
4	2839000	2.224681725	4
5	2855598	1.239904898	3
6	2862311	1.410624763	3
7	2887599	1.245547886	3
8	2887627	1.506927354	4

qna_res结果

序号	课程id	文本内容	总得分	平均得分	起始位置	结束位置	等级
0	2745909	你不知道啊，那是你自己动脑筋多呢，还是呃妈妈会姐姐只考的比较多。	16.39	1.02	1	31	3
1	2745909	嗯，是的故事呀，叙事的非常完整，你看啊，横轴的故事里边，我们知道了。	7.41	0.62	31	71	2
2	2745909	可以呀，这就是速度快来刻画有点忘记这些加起来是不是？	14.71	0.74	71	117	2
3	2745909	嗯，那咱们看它就会扣太拿什么啦。	44.50	1.27	117	179	3
4	2745909	嗯，你是不是嗓子有点痒了，要不要喝一点点水啊。	25.32	1.49	179	210	3
5	2745909	而且再来想一想饱和的时候那中间是不是一定会有一条绳子红色的线条啊或者说红色的绳子把他绑起来然后这里会有一个人都可以把它？	15.57	0.92	210	255	2
6	2745909	是出来的内容啊。	14.05	0.94	255	298	2
7	2745909	我们整个上课的过程是不是啊？	16.44	0.91	298	341	2
8	2745909	不是很清楚，那我们再来看看这里吧。	22.54	1.19	341	384	3

已知问题

• 对话语音取自两个音频，尚未做时间上的对齐(可以在转文本阶段处理，或在文本分析前处理)。
• 文本分析前的语音转文本，ASR准确率并不太高，影响后续分析效果。
• 用BERT做分类速度太慢了，需要做模型蒸馏。 （蒸馏模型已经实现）
• 评分模型目前只是不同形式的统计模型，后续加入语义分析能提高评分准确性。

其他

代码已经挂在我的Github上HoyTta0，欢迎Star，需要BERT预训练文件和训练好的ckpt可以留下邮箱地址，数据只给了一堂课，有需要可以自己根据数据格式构造。
其中，BERT代码参考了大佬的代码，稍微做了一些修改，改了一下网络结构以及修复了几个小bug，后续可能还会对数据输入部分做一些改进。