Emotion Recognition for Improving Online Learning Environment: A Systematic Review of the Literature

摘要：计算机视觉在增强学习环境中的日益介入引起了现代教育研究文献的兴趣。情感辅导系统（ATS）、学生情感识别系统（SERS）、情感分析和多智能体系统（MAS）显著增强了在线学习环境。没有先前的技术，由于缺乏纠正机制来标记教师在学习环境中的边缘化观点的事实，发现在线学习环境的增长是多余的。因此，计算机视觉被发现通过为教师提供增强的监控能力和辅助措施来增强在线学习环境。随后的研究纳入了对33篇论文的系统综述，有效地反映了技术在教育中的使用。该研究检查了提取和分析情感数据的方法、机器学习算法、对个别学习者的灵活性、摄像头质量以及伦理问题。这项研究旨在阐明这些系统的优缺点。研究表明，情感识别系统可以改善在线学习。这些技术量化和分析学生的情感反应，帮助教育者改进教学技巧和材料。有了关于学生情感的实时输入，教师可以调整他们的方法，以保持学生的参与度并提高学术表现。

关键词：在线学习，情感自适应智能辅导系统，情感识别。

一、引言

        将学习转移到在线平台的转变已经迅速打乱了学生的注意力跨度和教师的传统教学方法，转而有利于学习环境。计算机视觉中的情感识别系统是一项突破性技术，它扫描数字图像并量化学生的注意力跨度。学生注意力的倾向性推动了学习环境的发展。许多教师主持了体验式学习的方式，以保持学生的兴趣并提出加强学生注意力跨度的方法。然而，对学习环境的焦虑、无聊、困惑和压倒性反应可能会显著阻碍学习环境的进步。实践者通过注意到学生在课堂上缺乏讨论能力来有效地检测出物理课堂中的学生。相反，在线课程中，对技术和外部因素的依赖显著降低了教师判断学生参与课堂意愿的能力。

        Kohonen神经映射可以轻松地融入情感教学系统（ATS）中，用于在线教育，因为它分析了聚类趋势和自组织映射。它在使用人工智能（AI）的无监督环境中成长的能力，可以广泛地使其发展ATS。ATS的现代化要求包括学生注意力跨度的问题。人们注意到，学生保持注意力的能力与他们在课堂上维持注意力的能力直接相关。然而，需要显著地量化学生的注意力跨度，因为传统研究确定这一方面是定性的，并且是通过学生的身体反应来确定的，包括他们的反应速度、肢体语言和面部表情。对于在线学习，教师只能通过面部表情来了解学生。然而，他们通过设备的小屏幕上查看学生的能力，很容易忽视对学生注意力的关注，限制了他们改善学习环境的能力。

        这项研究旨在调查情绪识别系统在在线学习环境中的有效性，重点研究特征提取、特征选择、情绪分析以及评估的情绪类型(惊讶、兴趣、困惑和敬畏)，以及个人差异、相机质量以及伦理考虑的影响。这项研究考察了这些系统如何提高学生和教师的学习和参与度，同时解决其在教育实施中的问题。

二、方法论

2.1 研究问题

        研究问题（RQ）被明确界定以保持审查的焦点。这些实体的设计通过使用人口、干预、比较、结果和背景（PICOC）标准来促进，如Kitchenham和Charters 所述。表I展示了使用PICOC框架的研究问题结构。

以下研究问题是根据研究目标制定的：

1）不同年龄和教育水平的在线学习者，替代特征提取和选择方法如何影响情感分析的准确性？

2）哪些机器学习或人工智能算法在作为情感识别系统的一部分时，最能识别出惊喜、着迷、困惑和惊奇？

3）在线情感识别系统如何考虑学生的变异性，并根据个体学习者的需求和能力进行调整？这与没有情感识别的常规在线学习相比有何不同？

2.2 纳入和排除标准

以下表格显示了本研究中包含和排除的标准：

2.3 数据来源和文献研究

        本研究的数据来源和文献搜索范围广泛，包括教育杂志、高等教育教学杂志、学习科学杂志、教育研究评论、管理学学会和学习者杂志等，共涉及了500多项来自认证来源的研究。每篇先前的期刊都被探索过，以涵盖虚拟学习环境中的情感识别系统。

三、研究结果

3.1 在线学习环境中的学生情感多样性

        学生在学习中的情绪由对学习环境的四种不同反思定义：惊讶、兴趣、困惑和敬畏。上述每一种对学习环境的反思都决定了其有效性。在线学习环境中的教师试图培养学生的兴趣，而不是导致学生因动态能力而感到困惑。此外，人们注意到，学生在课堂上的独特特征是教师无法标准化情感学习环境的主要原因。因此，本研究旨在通过理解在线学习环境中学生的情绪来消除注意力跨度较低和反生产力学习环境的可能性。多主体系统（MAS）、情感计算和情感分析是理解学习环境中学生情绪多样性的标准方法。

3.2 情感计算

        在当今快速发展的数字社会中，教育技术无处不在。引入情感计算代表了教育领域的一项重大变革。跨数字平台的人机连接有助于情感计算理解和响应人类情感。在这个教育范式转变中，师生关系变成了数字机器-学生关系。情感计算技术利用人工智能来评估学生的表现和注意力，使得现代学习环境更加高效。本节探讨了在教学中使用情感计算的优势和劣势。

        情感计算使数字学习环境更加高效。能够评估学生的情感并改变教育内容是一个显著的益处。情感计算系统中的情绪检测算法可以检测不满、参与度、无聊和困惑等情绪。这些系统利用这些数据实时动态改变学习内容的节奏和复杂性，保持学生挑战和参与。

        这种适应性在远程或在线学习中尤其有用，因为真正的教师可能需要更多的同理心和个人接触。通过分析学生的情绪和行为，情感计算技术帮助数字教师以同理心和有效的方式做出回应。这种个性化方法通过将学生与数字学习环境联系起来，提高了学生的满意度和积极性。这种适应性是一个好处，但它引发了关于过度使用技术的担忧。教师一直在评估学生的情绪并调整他们的教学方法。情感计算可能会用计算决策取代人类的直觉和知识。

        情感计算解决了传统和数字学习教学问题。传统的教学方法可能单调乏味。情感计算使学习更加灵活和吸引人。当学习者感到无聊时，系统可以平滑地切换到多媒体、互动练习或游戏化内容。动态调整可以防止无聊并激发学生的学习兴趣。

        情感计算解决了学生与教师接触有限的问题，特别是在大班教学中。情感计算使用情感分析和情感检测来个性化响应。这使得系统能够检测到学习困难的学生，并帮助他们迅速。结果是提供了一个更具包容性和支持的学习环境，在这个环境中，没有孩子被落下。

        然而，使用技术改进教学方法也有其缺点。情感计算系统捕获和分析敏感的学生情感数据，引发了隐私和数据安全问题。处理和保护这些数据具有严重的伦理后果。

        将情感计算整合到教育中可以提高学生的注意力和参与度，这是数字时代教育工作者面临的一个重大问题。在数字干扰的时代，保持学生的专注是困难的。通过情感计算实时监测学生的情绪是一个独特的解决方案。系统可以识别学生注意力何时减弱，并用解释或互动活动来刷新他们的注意力。

        通过对学生学习反应和表现的长期评估，情感计算可以揭示学习趋势。有了这些知识，系统可以建议学习策略和资源。如果学生在一个概念上遇到困难，系统可以提供更多信息或实践任务。这种个性化的支持通过重视努力和改进来提高参与度和促进成长。

        最后，情感计算在教育中提高了效率、适应性和教学方法。然而，这项技术的局限性以及伦理问题必须被批判性地审查。情感计算可以转变学习方式并吸引学生，但它引发了关于教学、隐私和数据安全的担忧。管理情感计算在教育中的利弊至关重要，因为这项技术正在塑造学习方式。

3.3 学生情感识别系统

1) 数字教育中SERS的分析

        学生情感识别系统（SERS）是量化学习环境效率的突破性技术之一。传统上，对学习平台进行定性评论并将其与学生期末成绩进行比较，这显示了对学习环境效率和学生对情感反应的偏颇测量。相反，使用计算机视觉开发SERS充分赋予了数字学习环境能力，因为导师们忙于课堂上的概念讲解。值得注意的是，导师们在解释概念的同时反思参与课堂的学生，而内向学生和边缘化注意力未能获得导师的关注。因此，SERS的整合充分赋予了在线学习能力。SERS实施的阶段包括系统的设计、眼检测和头部旋转。以下要点分别涵盖了前述模块：

a) 系统设计：系统基于局部二值模式（LBP）设计，这是一个广泛的程序，通过结合眼检测和头部旋转来确定学生的课堂参与度。注意到，头部的非自愿或自愿运动可以有效使系统确定学生的理解水平。

b) 眼部检测模块：为了眼部检测，可以加入面部识别系统。然而，它依赖于用户的相机质量来包括他们的面部和眼部旋转在设计中，这可能会阻碍其结果的有效性。因此，学习环境应该标准化学生之间使用设备以高效地进行学生注意力缺失（SERS）检测。

c) 头部旋转模块：头部旋转模块通过眼睛的角度及其可见性来检测头部运动。SERS会向从业者发送通知，告知他们学生在听讲座时缺乏集中力，在此他们可以根据对话来确定自己的行为。此外，还提出了以下模型，用于在教育环境中实施SERS。

2）实施方法论

Viola-Jones算法是一种用于目标检测的机器学习技术，发表在“使用增强的简单特征级联快速目标检测"。系统的倾斜度是为面部识别开发的，它演变为使用LBP的教育平台。以下指针旨在分析Viola-Jones算法和LBP在在线学习环境中确定学生高、中、低浓度方面的能力。

a) 高浓度：学生通过屏幕上头部和眼睛的固定位置来分析高浓度。如果学生没有面对屏幕，就会分析背景活动在学生心中占据的空间，这可能会阻碍他们完全集中精力于讲师教授的教学材料。

b) 中等浓度：中等浓度检测是通过LBP和Viola-Jones算法怀疑的。决定性方法确定浓度水平的偏斜原因在于其分析单个面向屏幕的眼睛的策略。相比之下，在固定的头部位置下，另一个眼睛是不可见的。

c) 低浓度：低浓度是通过头部和眼睛的周期性移动来确定更长时间的。使用Viola-Jones算法确定低浓度是具体的，因为它很容易确定学生比讲座更专注于背景活动。

有人认为，在课堂上简化头部和眼睛的反应可以充分削弱SERS的有效性。然而，研究表明，尽管学生具有内向或外向的特征，但他们用于注意力的主要参与属性仍然是头部和眼睛。因此，Viola-Jones算法和LBP在现代教育系统中的效率应该得到广泛认可。

3.4 在线学习环境中情绪识别系统的益处

1) 提高学习环境

传统的课堂学习环境通过教师与学生的沟通能力得到了增强。教师反思学生的行为以改善学习环境。然而，开发在线学习平台增加了学生和教师之间的沟通障碍。结果，需要技术来维持两个利益相关者之间的透明度。在线平台上的情感识别系统工作，通过量化学生的反应评级使学习环境变得高效。此外，它允许从业者多样化教学方法，以适应学生期望的注意力水平。

2) 教师更好的决策策略

        传统上，教师的决策是通过现场对问题的判断做出的，这导致了决策不匹配，进一步恶化了学习环境。在情感识别系统中，AI和ML训练的模型能够从学生表达和数字学习环境中的行为中创建准确的结果，使教师能够遵循标准化方法来增强学习环境[28]。

3) 学生和教师的参与度

        在线学习环境中，学生和教师的参与度显著受到沟通障碍的增加而受到影响。然而，情感识别系统特别增强了情感计算方法，以增强学生和教师之间的参与度[22]。教师越来越意识到他们学生的行为，这使他们能够广泛地确定他们对学习环境的方法。

3.5 计算机视觉在教育技术中的挑战

        计算机视觉技术在教育中创造了数据隐私和安全与公平和偏见之间的冲突。机构必须批判性地处理这些矛盾的力量，以道德和公平地使用技术。数据隐私和安全在数字时代至关重要，特别是对于敏感的学生、教师和员工数据。数据泄露、未经授权访问和视觉数据利用有严重的后果，需要坚实的保护措施。为了保护数据，建议使用加密、访问控制和权限[29]。

        获取多样化和具有代表性的训练数据集以减少计算机视觉系统中的偏见是困难的。隐私和安全的数据收集和使用规则可能会限制对特定人群的访问，加剧偏见。这种冲突突显了需要在数据隐私与多样性和代表性之间取得平衡。算法中的公平性和偏见同样重要。有偏见的训练数据会损害计算机视觉系统。机构必须策划多样化的训练数据集，并定期测试算法以检测偏见[30]。这种方法可能违反数据隐私法律，因为它涉及从多个来源共享数据。将这些竞争力量结合起来需要细致入微。机构需要一个全面的计划，包括数据匿名化、访问限制、偏见识别和缓解。隐私和公平性必须整合起来，以维护数据安全和算法公平性。

        计算机视觉技术必须可访问且包容性强，但基础设施和资金限制使其难以。投资于文本到语音和语音到文本技术对于使教育资源对所有人，包括残疾学生都变得可访问至关重要。这些技术通过将图片转换为文本或语音来使图片可访问。可访问的用户界面和程序也是包容性所必需的。财务障碍是显著的。预算限制可能阻止学校购买和维护设备和软件。这些成本不成比例地落在较小或资金不足的机构身上。

        需要平衡的方法来解决这些问题。计算机视觉项目需要仔细规划和预算分配。云计算服务和技术合作伙伴关系可以降低基础设施费用。为了确保所有孩子都能从技术中受益，这必须与可访问性倡议相平衡。总的来说，数字教育必须优先考虑可访问性和包容性。战略规划和资源分配可以克服基础设施和财务限制，为所有学生提供技术。

        教育机构的技术技能是一个重大问题。许多机构需要更多的计算机视觉系统实施和维护能力。这种人才缺口限制了技术的潜力。需要大量投资于员工和教育者专业发展。对教师进行计算机视觉培训是必要的。寻求AI和计算机视觉专业人士或技术公司的建议和指导是有益的。必须认识到，并非所有教育者都是技术熟练的。没有技术能力的教育者需要用户友好的界面和工具来使用计算机视觉系统。

        最后，克服教育技能差距需要培训、协助和用户友好的技术。教育机构可以通过投资于员工和教育者来最大化计算机视觉技术。

3.6 教育部门使用计算机视觉

        计算机视觉，人工智能和计算机科学的领域，最近因其广泛应用于众多行业而变得流行。在教育领域，计算机视觉正在产生重大影响。计算机视觉技术正在改变孩子们学习的方式、教师的教学方式以及机构的管理方式。

1) 个性化学习

个性化学习是一种针对学生需求、才华和兴趣的方法。这种定制策略使用计算机视觉分析学生的行为和偏好。计算机视觉在个性化学习中用于衡量学生对面部识别[34]的参与度。AI驱动的系统可以从面部表情和身体语言判断学生在讲座期间的参与程度、无聊或困惑。为了给每个学生提供最佳的学习体验，教师可以通过提供更多支持或减慢课程速度来改变他们的方法。计算机视觉还可以检测学生的眼动，以确定他们发现数字教科书或教育电影中最有趣的哪些部分[34]。这些数据可以帮助内容作者和教育工作者通过揭示哪些领域最吸引人并需要改进来增强教育资源。

2) 自动化行政工作

教育中的许多行政职责耗时且资源密集。许多管理程序已经通过计算机视觉自动化，减少了员工的工作量并提高了效率[35]。教育机构管理许多文书工作，从入学文件到成绩报告。使用计算机视觉扫描、数字化和分类这些文件，使得信息管理和检索变得更加容易。它节省了时间并减少了人为错误。计算机视觉也可以在学校和大学访客管理系统[35]中使用。该系统可以识别和认证访客，确保只有授权的员工进入。它还可以跟踪访客的签到和退房，提高校园安全。

3) 改进课堂体验

计算机视觉可以使教室对学生更加互动和吸引人。通过计算机视觉支持的智能白板可以数字化手写文本和涂鸦。教师可以快速存储和分享笔记，鼓励学生合作和参与。教育AR和VR应用程序使用计算机视觉构建沉浸式学习环境[36]。在课堂上，学生可以参观历史地标、解剖虚拟物种，并穿越人体。通过实践和参与式方法，复杂概念更容易理解和记住。

4) 学生反馈与评估

自动化评估和快速的学生成反馈依赖于计算机视觉。使用计算机视觉，OCR技术可以快速准确地扫描和评分多项选择答案表[37]。这减少了教师评分时间，并为学生提供了快速的反馈。此外，计算机视觉可以评估学生的写作。自动化论文评分方法评估语法、连贯性和词汇。虽然它们不能取代人工审查，但这些系统可以提供初步评分和反馈，节省教育工作者的时间并保证评分的一致性。

5) 校园安全

教育机构优先考虑安全。基于计算机视觉的安全系统可以提高校园安全。监控摄像头中的计算机视觉算法可以实时检测可疑活动或人员，通知安全[38]。主动策略可以避免安全漏洞，保护学生和员工。此外，计算机视觉可以监控出勤情况。面部识别技术可以即时识别进入教室或校园建筑的学生，消除人工出勤。它们节省时间，使大学能够更精确地跟踪学生的出勤情况。

6)特殊教育和包容性

计算机视觉技术可以帮助有各种需求的学生获得教育所需的支持。计算机视觉可以将打印文本转换为视障学生的音频，使教学资源更加可访问。计算机视觉还可以帮助学习障碍儿童，根据教育内容提供个性化的推荐。如果学生在一个主题上遇到困难，系统可以提供更多资源或改变作业难度。

7)研究工作和分析中的应用

在高等教育和研究机构中，计算机视觉分析大型数据集，运行实验并推进研究。在生物学中，计算机视觉算法可能分析显微镜图片以识别细胞结构和不规则性。社会科学研究人员可以利用计算机视觉分析大量视觉数据，如社交媒体照片和视频。研究人员可以通过研究公众情绪、文化趋势和人类行为来更好地理解社会。

3.7 研究的局限性

为了充分欣赏研究的范围和限制，请评估其局限性。基本局限性如下：

1) 可泛化性

本研究的一个显著改进领域是泛化能力不足。该研究考察了在线学习环境中的情感识别系统。然而，这些发现可能只适用于某些教育环境。不同的在线平台、课程和学生群体可能会提供不同的结果，这使得推广研究变得困难。

2) 数据隐私与伦理问题

教育中的情感识别系统存在伦理和隐私问题。本研究承认了这些问题，但可能无法完全解决数据隐私、同意和情感数据误用等问题。需要单独的研究来进行完整的伦理评估。

3) 技术可行性

该研究涵盖了情感识别系统的优势，但可能没有彻底调查它们在各种教育环境中的技术可行性。技术基础设施的可用性、价格以及学生和机构可获取性的限制可能会阻碍其广泛采用。

4) 时间框架有限

该研究的包含要求要求在2017年及当前之间发表。这一时期可能排除了2017年之前发布的工作，错过了学校情感识别系统的重要见解和改进。

5) 语言偏见

包含标准排除了非英语研究。这一限制可能会排除来自非英语语系地区的关键研究和观点，从而基于研究格局。

6) 主题特异性

该研究考察了在线学习环境中的情感检测系统，尽管可能会忽略主题特定的差异。在创建和使用这些方法时，纪律可能会有不同的需求和障碍。

7) 情感有限

该研究评估了惊讶、好奇、困惑和惊奇，但可能没有检查学生和教师在线学习时可能体验到的其他情感。通过更深入的观察，可以更好地理解情感和学习成果。

四、结论

        最后，基于计算机视觉的情感识别技术在在线学习环境中已经彻底改变了教育。本研究检查了这些系统在特征提取、情感解释、个体差异、摄像头质量以及伦理方面的表现。这些方面阐明了情感识别算法是如何改变在线教育的。通过研究问题，探索了在线学习环境中的情感识别系统。研究考察了提取和分析情感数据的方法、机器学习算法、对个别学习者的适应性、摄像头质量以及伦理问题。这项研究旨在阐明这些系统的优缺点。研究表明，情感识别系统可以改善在线学习。这些技术量化和分析学生的情感反应，帮助教育者改进教学技巧和材料。有了关于学生情感的实时输入，教师可以调整他们的方法，以保持学生的参与度并提高学术表现。
        计算机视觉和情感检测技术可以改善在线学习中的师生沟通。教师可以评估学生反应，并在常规课堂上调整他们的教学。使用情感识别技术的虚拟课堂允许教师提供更个性化的支持，并与学生建立更紧密的关系。尽管有益，但教育中的情感识别技术带来了各种障碍。必须以道德和负责任的方式管理学生的情感数据。保护敏感数据并透明地使用数据至关重要。这些系统的偏见和公平性也必须得到解决。有偏见的算法可能会通过错误对待特定群体而加剧学生不平等。多样性和代表性的训练数据集以及定期的算法审查可以减少偏见。研究人员还必须考虑可访问性和包容性。包括情感检测系统在内的教育技术必须对所有学生，包括残疾学生，都是可访问的。为了避免学习障碍，技术应该提供用户友好的界面和不同的模式。实施这些系统可能会昂贵且需要大量的基础设施，特别是对于资源较少的学校。需要进行彻底的成本效益分析，以证明并维持这些投资。计算机视觉驱动的情感识别系统可以通过增强学习环境、教师决策和学生参与度来转变在线教育。这些技术必须负责任地使用，同时考虑到数据保护、公平性、可访问性和成本效益。随着教育发展以满足数字时代所有学习者的要求，情感检测技术将在创造更有效和包容的在线学习环境中发挥关键作用。