基于表情识别的课堂效果检测与评价系统的设计与实现智慧课堂

基于表情识别的课堂效果检测与评价系统的设计与实现

摘    要

如今，在全球受到无法预料因素的影响下。国内外的各类学校陆续延期开学，传统的教育计划受到了前所未有的冲击，新的教育模式受到推崇。通过分析新的教育模式的运作方式，了解了新的教育模式与传统教育大为不同，师生在时空间上的不同步，使得教师无法实时观察到听讲者的听课状态，不能及时得到听讲者的课堂效果反馈等问题更为突出。由于学生在课堂上的听课状态，会直接影响到课堂的质量。为了能更好的关注到学生的听课状态，提高教学的质量，因此研究了人工智能在课堂效果检测与评价上的应用，对人脸表情识别在课堂评价上的应用做了探讨。本文设计并实现了一个通过人工智能技术自动检测听者人脸表情变化，并根据表情变化分析听课状态的课堂评价系统。

关键词：表情识别；深度学习；课堂评价；卷积神经网络

第一章 绪论

1.1 研究的目的和意义

在人工智能的高速发展过程中，在全球面临危机影响下。国内外学校延期开学，传统的教育计划受到了前所未有的冲击影响。在此背景下，新的教育模式受到了各类学校、教育机构的大力支持，但是新的教育方式与传统大为不同，师生在时空间上存在不同步，放大了教师不能及时得到课堂效果反馈的问题，因此课堂效果反馈的方式需要进行创新。

老师需要大量的时间用来去备课，或对学生提出的问题做分析，使得课堂上很难分出时间对每个学生的听课状态做分析，而基于表情识别的课堂检测与评价系统可以解决上述问题。

1.1.1 研究目的

在根据调查得知，现在对课堂效果的反馈主要方式有网络日志、课后作业的成绩、网课学习进度、课上提问等为参考。以上大多都是课后对上课效果的反馈，由于无法实时的进行反馈，所以真实性也较差。例如网课代刷一体服务，作业代做等事件屡见不鲜。虽然有课上反馈的办法，例如课上提问，占用课堂时间长，效率低，都会造成诸多的不便。

总的来说，现在的课堂效率乏技术上的创新。所以针对实时且有效智能分析课堂效果的需求，有必要在新的学习模式下开发一套高效运行的课堂效果置信度分析的系统。

1.2 国内外研究现状

人工智能技术逐渐进入日常生活，机器与人交流的趋势是世界前进的方向，机器与人要交流首先必须能够识别人类，因此人脸识别技术是人工智能发展的光环点。深度学习在图像处理，弹幕展示，人脸识别与表情识别等方向都有着显著的成就。从早期的全连接人工神经网络，进阶到加入CNN人工神经网络，再到最新的深度学习网络模型，不断选择与融合出拥有不同特点的新型人工神经网络模型，应用于各种复杂领域。

1.2.1 国外研究现状

国外深度学习技术的起源比较早，人脸表情的研究成果也比较多。美国人脸表情学专家Ekman深入研究了人脸的表情的变化，定义出来了六种的基本表情变化，并发表了不同人种表情之间的共性[1]。20世纪末日本的H.Kobayashi和F.Hara通过研究人工神经网络算法实现了简单的表情识别。最近，巴蒂·尤斯拉·哈立德与贾米尔·阿夫尚等人采用了深度特征和极限学习机的方式实现了指导员面部表情的识别技术[2]。着重对讲课过程中对教师做出的表情变化与行为做出相应的评估，用来改善学习的环境。提出了以中使用前馈学习模型的课堂上进行老师表情变化识别的方案。Guangyuan Zhong开展了轻量级卷积神经网络表情识别的相关研究[3]。通过使用深度卷积人工神经网络相关的自动数据增强技术，取得了很好的识别效果。Siregar B对表情识别做了研究，采用了不用的优化器值，做了缓冲处理，并对训练与验证数据使用了增强处理[4]。通过此方式的研究，在数据集的训练中克服了过拟合问题，取得了高准确率的最优模型。国外对表情识别的研究非常早，但是对其应用在课堂教育上的研究相对为少数，多数都是集中在更深层次的提高表情识别与其相关识别上的精度提高方向。

 

固定好摄像头，当摄像头与机器链接没有错误之后，可以点击按钮测试相机，启动相机测试功能，进行相机链接状态测试。测试相机过程中，系统会开启人脸检测与定位模块，用来直观的显示运行状态。如果摄像头范围内有人脸存在，可以在实时检测框内看到框出来的人脸，并且在下方的消息栏内显示当前摄像头检测范围内的人数。

图5.1 系统启动初始图

表5.3 相机测试表

测试项目	测试目的	输入	预期结果	实际结果
人脸图像检测与定位	是否能够检测并标记出人脸位置	单人图像	标记出人脸	达到预期结果
		多人图像	标记出人脸	达到预期结果
		无人图像	无人脸标记	达到预期结果

图5.4 系统结果显示图

3、看到以上测试结果，如图5.4所示。单人检测数据输入到系统经过检测识别正常，多人检测数据输入系统做检测结果正常，无人检测结果正常，说明相机链接无误，可以开启摄像头检测学生状态，然后根据使用的场景，可以在时间框内设置间隔内检测的时间，设置好间隔时间后，单击开始运行按钮，即可开启运行课堂实时检测，系统可以做出实时的课堂评价，并且系统可以不断记录间隔时间内的课堂上学生的听课状态，达到时间间隔，将做出对应时间间隔内的课堂效果评价。

经过单人听课状态数据的数据检测后，发现头部状态显示异常，情绪检测预测概率显示正常，表情识别结果正常，课堂评价数据计算正常，人数检测识别的人数为一人，人数识别正常，状态记录文本框，记录数据正常。

经过检测数据的分析，得到问题出错位置为检测结果与记录模块，对检测结果与记录模块进行代码检测，并修改状态记录与展示出错部分，再次对系统的整体功能进行调试。

对修改后的系统再次进行整体功能测试，数据测试集在单人数据、多人数据和无人数据的基础上再增加自建表情测试用例数据,其中有单人表情用例，覆盖了7种基本表情，多人表情测试用例，包含了多个人的7种基本表情，无人测试用例中不包含人像。以提高系统检测结果的正确性。如图5.5所示。

项目下载：

https://mbd.pub/o/bread/ZZ2Wk5py