基于面部色表情识别的学习状态检测系统

课堂教学是教育工作中非常重要且普遍的一个环节，而学生的学习状态是教师、学校、家长非常关注的方面。随着人工智能技术的发展，监控智能系统已经在人们的生活中得到广泛的应用，但目前的监控主要以图形视频信息记录为主，对于学生学习状态等行为的检测功能比较缺乏，因此以监控系统为基础，基于深度学习算法实现基于面部色表情识别的学习状态检测系统，对于教师、学校、家长都具有重要的意义。

本文通过获取WFLW数据集中图片，该数据已经完成了人脸面孔98个关键点的标记信息，将收集到的人脸数据集进行行归一化和划分操作,基于Sequential模型构建基于卷积神经网络的人脸表情识别分类器，通过收集人脸表情数据集训练人脸表情识别分类器模型。基于OpenCV技术中人脸分类器实现人脸识别，并通过训练的模型实现人脸表情图片检测以及人脸表情视频检测，通过实验结果证明，训练的人脸表情检测模型效果好，对学生学习状态检测具有实际的参考价值。

人脸检测方法介绍

人脸检测方法较多，根据归纳总结大概有四种常见的人脸检测方法。他们分别是基于知识的方法、基于特征的方法[12]、基于模板匹配的方法、基于统计模型的方法。

(1)基于知识的方法，通过人脸规则对输入人脸图像进行检测的方法。比如人的眼睛、鼻子、嘴巴、耳朵等分布。主要通过简单的规则来描述人脸面部特征，以及对这些特征之间的关系进行进行定义。比如常见的基于马赛克的人脸检测，镶嵌图的方法等等。

(2)基于特征的方法，通过查找人脸面部不同的特征，对输入的人脸图像进行检测的方法。这种方法的思路主要是将人脸面部的一些特征，比如肤色、边缘、纹理等在不同的姿态、视角、表情的状态下都不会发生变化的特性记录起来进行人脸检测。

(3)基于模板匹配方法[13]，这种方法是将人脸的面部特征用一个标准的人脸模板描述，然后对输入的人脸图像，计算它与模板之间的相关值，将的出来的相关值和设定的阈值比较，进行判断图形中是否存在人脸。

(4)基于统计模型[14]的方法,将人脸区域看成是一快区域，然后通过大数据训练人脸，作为潜在的规则并生成分类器，通过判断人脸图像可能存在的分类区域来判断是否图形存在人脸，常见的训练方法是神经网络算法，贝叶斯算法等等。

基于面部色表情识别的学习状态检测系统主要采用基于特征的方法进行人脸检测，本文主要基于OpenCV中的人脸识别分类器完成人脸检测功能。

 

系统模块设计

基于面部色表情识别的学习状态检测系统通过分析，主要包括的功能模块包括图片检测、视频检测、人脸检测、面部表情检测四个主要功能模块，下面对本系统的各个功能模块的具体设计进行介绍。

图片检测模块设计

图片检测模块设计，用户选择图片，点击确定，如果未选择图片的时候，系统提示“请选择图片文件”，如果已经选择图片，系统通过使用opencv的人脸分类器进行识别图片中是否有人脸，如果有人脸，系统通过训练的面部表情模型检测图片中的人脸表情，判断人脸的表情是悲伤、高兴、害怕、惊讶、生气、厌恶，还是平静表情，如果是平静表情，说明学生学习状态良好，如果是悲伤、害怕、生气、厌恶等表情说明学习状态不良好。

视频检测模块设计

视频检测模块设计，用户选择视频，点击确定，如果未选择视频的时候，系统提示“请选择视频文件”，如果已经选择视频，，系统通过使用opencv的人脸分类器进行识别视频中是否有人脸，如果有人脸，系统通过训练的面部表情模型检测视频中的人脸表情，判断人脸的表情。

人脸检测检测模块设计

人脸检测模块设计，系统读取图片信息，系统对图片进行灰度化处理，接着系统使用opencv的人脸分类器检测是否有人脸，如果有人脸，则通过方框图标记人脸。

面部表情检测模块设计

面部表情检测模块设计，系统截取图象中的人脸面部图片，通过已经训练的面部表情模型检测人脸表情，通过人脸表情头像标记人脸面部。