基于python面部色表情识别的学习状态检测系统

课题研究的背景

人脸表情识别[1]技术是人脸识别技术的一个组成部分，伴随着人工智能技术[2]以及计算机技术的高速发展，人脸表情识别技术也受到了人们的重视，人脸表情识别技术可从静态图像[3]或者动态视频[4]序列中识别出人们的表情状态，以至于可以确定人们的心理情绪。

人脸表情是人际交往的重要渠道，识别人脸表情可促进对人心理状态和情感的理解。不同于常规的人脸表情，表情是一种特殊的面部微小动作，可以作为判断人主观情绪的重要依据，在公共安防和心理治疗领域有广泛的应用价值。人脸表情识别技术的发展和应用可以更好的实现智能技术与人们的交流，通过机器识别给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪，实现计算机对人脸表情的理解与识别，可从根本上改变人与计算机的关系，使计算机可以更好地为人类服务，从而达到更好的人机交互。而且表情识别技术是人们探索和理解智能的有效途径。基于深度学习的计算机视觉技术能够实现自动识别人脸表情，极大地提高了表情的应用可行性。本课题的目的是设计和实现一个基于面部色表情识别的学生状态检测系统，提高对学生状态的检测效率。

课题研究的意义

近年来人工智能技术已经在人们的生活领域得到了广发的应用，监控系统已经在安防、校园等领域做出了很大的贡献，目前图像处理技术[5]已经非常成熟，通过机器学习技术对监控系统的视频内容实时处理分析，并对目标检测跟踪和判断的技术已在多领域应用，因此关于目标检测分析64]的相关技术已经成熟，将其技术应用在我国校园学生学习状态检测分析上面有着重要的现实意义。

(1)对于学校巡课人员，需要通过监控视频远端巡课，了解学生学习状态，可以及时掌握被训班级的学生状态情况是否良好，。

(2)对于学校教师，通过分析识别监控系统中学生的面部表情，分析学生的学习状态，对状态不良的学生可以提醒教师。

课堂教学是教育工作中非常重要且普遍的一个环节，而学生的学习状态是教师、学校、家长非常关注的方面。随着人工智能技术的发展，监控智能系统已经在人们的生活中得到广泛的应用，但目前的监控主要以图形视频信息记录为主，对于学生学习状态等行为的检测功能比较缺乏，因此以监控系统为基础，基于深度学习算法实现基于面部色表情识别的学习状态检测系统，对于教师、学校、家长都具有重要的意义。

本文通过获取WFLW数据集中图片，该数据已经完成了人脸面孔98个关键点的标记信息，将收集到的人脸数据集进行行归一化和划分操作,基于Sequential模型构建基于卷积神经网络的人脸表情识别分类器，通过收集人脸表情数据集训练人脸表情识别分类器模型。基于OpenCV技术中人脸分类器实现人脸识别，并通过训练的模型实现人脸表情图片检测以及人脸表情视频检测，通过实验结果证明，训练的人脸表情检测模型效果好，对学生学习状态检测具有实际的参考价值。

研究工作内容

本文以人的面部表情图像数据为样本，通过训练Sequential模型算法，对人的面部表情进行识别，本文主要研究内容如下：

(1)通过网络搜集人的面部表情信息，得到WFLW数据集人脸面部表情相关的图片以及对应的VOC数据集格式的数据，从中筛选出来有效人脸面部表情的图片，对一些不清晰的图片信息进行清洗剔除。

(3)将VOC数据集格式的人脸面部表情数据通过归一化形式进行存储，作为人脸面部表情识别模型的数据样本。

(4)对得到的人脸面部表情数据样本的数据进行划分为训练集、验证集、测试集。

(5)通过划分的人脸面部表情图像样本训练集，基于Sequential模型算法进行人脸面部表情识别模型训练，通过验证集评估最终模型的性能，得到最终的人脸面部表情识别模型。

(6)通过训练得到的人脸面部表情识别模型完成人脸面部表情图片和视频识别功能。

系统模块设计

基于面部色表情识别的学习状态检测系统通过分析，主要包括的功能模块包括图片检测、视频检测、人脸检测、面部表情检测四个主要功能模块。