基于深度学习的课堂行为图像分类 [代码链接](https://gitee.com/VIT19980106/Classroom-behavior-image-classification
代码链接
https://gitee.com/VIT19980106/Classroom-behavior-image-classification
论文组织结构
摘要
近年来,随着教育信息化的飞速发展,加快智慧教育建设成为我国的重要政策之一,在日常教学中,学生课堂学习行为是课堂教学效率和教学质量的重要体现,通过评价学生的课堂行为,形成对课堂教学质量的客观评价和反馈,对于提高教学效率和教学质量有重要意义。为了实现学生课堂行为的自动化识别,本文利用开源数据集和自采图像数据制作课堂行为图像分类数据集,搭建Tensorflow框架完成数据增强处理,基于特征融合方式提出MobileNetV2-DenseNet121双模型结构,与Vgg16、MobileNetV2、DenseNet121模型对比实验,从四个评价指标验证,本文所提方法识别精度有不同程度提升。最后,基于PyQt5设计实现了课堂学习行为自主识别系统,操作简单,对本文研究进行可视化的GUI展示。
数据集
本文实验数据来源于开源数据和自采数据,共包含五类课堂行为图像,分别为交流、睡觉、玩手机以及看书,各类别数据展示如图11所示。为进一步阐述本文数据集,基于柱状图的行为对课堂行为分类数据集的分布情况进行说明
迁移学习
MobileNetV2和DenseNet121均采用ImageNet数据集训练的权重,即图中Source data为ImageNet数据集,通过Source data得到预训练的权重,直接在本文数据集,即Target Data下固定两个模型的权重,不做训练,直接用于特征提取,将两个模型提取的特征进行特征融合后,输入至全连接网络,仅仅训练全连接层的权重参数。
MobileNetV2-DenseNet121双网络模型
实验结果及分析