人工智能融入学校教育的潜在风险：系统评价 （Potential Risks of Artificial Intelligence Integration into School Education）

原文地址

Abstract

目前，人工智能（AI）正在迅速融入K-12教育，因为它在社会和教育学上的重要性越来越大。AI在K-12教育中的整合可能会对学习者的生活和学习方式、教师的教学方法以及学校管理系统的整个机制产生深远的影响。由于AI技术在K-12学校课程中是新的，因此K-12教室的AI研究正在探索中。在这项研究中，我们探讨了学校教育中AI整合的现状及其相关风险。该研究采用系统回顾方法，试图探索最近关于K-12教育中AI整合的可能风险因素的研究结果，观察结果和结果。在使用预定义的关键词进行初始检索时，共记录了390篇文章。采用纳入和排除标准，选择了涵盖34种期刊和其他出版物的71篇文章进行最终分析。精选的71篇文章报告说，将人工智能创新纳入K-12教育与某些风险和挑战有关。通过系统的回顾技术，我们将其分为6个主要风险领域，即隐私和自主风险、人工智能偏见、准确性和功能性风险、Deepfakes和FATE风险、社会知识和技能建设风险以及教师角色转变风险。该研究还探讨了这些风险领域，以概述这些风险领域如何与K-12教育的教学和学习过程相关联。

1. Introduction

人工智能（AI）正在迅速影响人类生活的方方面面，包括教育（Eguchi等人，2021年; Sumakul等人，2022年; Zanetti等人，（2019年版）。AI在教育中的整合（AIEd）成为日益受到关注的重要课题（Bogina等，2022年;黄，2021年）。目前，AIED已成为新兴的教育技术领域之一（Wang et al.，2021年）的报告。特别是，正规的K-12教育越来越重视人工智能素养，教孩子们利用人工智能，以及利用人工智能解决教育问题的创造力（齐默尔曼，2018）。根据Majumdar（2020）的研究，AI在K-12教育中处于当前最热门的趋势之一，由于其压倒性的潜力，学校正在逐步将其融入，以加快教学和学习的成果。人工智能的到来提供了新的技能和教学优势（索斯盖特等人，2019年），这将激发学生和教师超越传统教学的思考，并极大地影响他们转变K-12水平的教学方式。反过来，整个教育领域的专家们强烈建议，帮助学习者和教师理解人工智能的重要性、局限性及其潜在的社会影响至关重要（Touretzky等人，（2019年版）。

由于其广泛的影响力，人工智能在K-12教育中的应用已在多个国家得到了观察，如中国（Jing，2018）、新加坡（AI-Singapore，2018）、韩国（Walch，2018）、印度（中央中等教育委员会）。印度政府教育部，2019年）、欧盟（Ilkka，2018年）、日本（Eguchi等人，2021年）和西班牙（Fernández-Martínez等人，2021年）的报告。江口等人（2021）坦言，如今的学习者在成长过程中，家里一直有AI助手或AI辅助的智能设备，比如谷歌增强型智能音箱，以及配备Siri或Alexa的设备。Hwang et al.（2020）、Lin et al.（2018）、Edwards et al.（2016）等研究报告称，基于AI的智能教学平台或智能学习工具可以支持多样化的学习方式，为学习者提供个性化指导、即时学习和反馈，并帮助学习者发展更高阶的思维能力。在K-12教育中融入人工智能技术尤其有助于学生发展21世纪的数字技能（Dermeval等人，2018），提高学习表现（Zhang等人，2022），提供智能学习环境（Zhai等人，2021），解决科学和数学问题（Yannier等人，2020），获得定制学习助手（Xu & Ouyang，2022），帮助教师发展数字化教学技能（De la Higuera，2019;威廉姆斯等人，2022），提供智能化的教学内容（Gresse von Wangenheim等人，2021），执行教学活动，如评分和评估（Reiss，2021;货车der沃斯特& Jelicic，2019），回应学生的重复询问（Gocen &Aydemir，2020），考勤，跟踪学生的进步，自动给予反馈（Chen，Chen，et al.，2020年; Hwang等人，2020; Lin等人，2021），观察学生的表现和学习模式（Ahmad等人，2021年）的报告。尽管人工智能系统具有一些优势，但研究报告称，将人工智能融入K-12教育会带来重大挑战和风险（Yoder等人，2020），例如，如果不了解AI技术的角色和功能，个人可能无法在学习活动中有效地实施AIEd（Hwang等，2020年）的报告。在学校的教学过程中，每一项技术进步都有积极和消极的影响。与其他教育技术一样，人工智能的使用在教与学方面也有好处和缺点。研究报告称，将AI系统以人脸识别（Borenstein &霍华德，2021; Noble，2018）、学生分类（Bogina等人，2022; Brandom，2018）、智能辅导系统（ITS）（Hwang等人，2020年; Westenberger等人，2022）、学生追踪（Akgun和Greenhow，2022）、评估和评分（Feathers，2019; Lin等人，2021年）、自然语言处理（Wang & Cheng，2021年; Zanetti等人，2019）、人工智能监测（Akgun和Greenhow，2022; Seo等人，2021年）与教师和学生（特别是学校）的几种风险有关。这些导致研究人员提出以下主要研究问题。

与AI系统集成到K-12教育相关的各种风险因素有哪些？

该研究旨在探讨将人工智能技术纳入学校教育（K-12水平）的主要风险。风险因素是从其结果和发现中报告的选定文章中提取的。虽然这项研究的主要重点是强调人工智能集成的风险，但我们也简要讨论了每种AIEd工具和技术的优点和好处，同时概述了其风险和问题。

2. Materials and Method

采用系统综述方法以满足研究的主要目的。系统性综述的目的是根据系统性和可复制的检索策略以及纳入和排除标准来解决具体的研究问题，以识别研究中纳入或排除的文章（Gough等人，（2017年版）。本研究的系统综述过程基于系统综述和Meta分析的首选报告项目（PRISMA）图。检索文献的纳入过程是根据某些预先确定的标准进行的。在PRISMA步骤之后，对所选文章的主要结果进行了编码和提取，以综合并回答本研究的具体研究问题。

2.1. Database Search Strategy

采用电子数据库检索文献。该研究考虑了主要的电子数据库，如Scopus、Web of Science、EBSCO、Wiley、Taylor和弗朗西斯、ERIC、IEEE、ProQuest和Google Scholar。本综述研究中的文章筛选至2006年至2023年5月的限定时间段。在初始阶段，确定了390篇文章

2.2. Search Terms

检索词的选择是基于以往的研究报告以及研究人员的假设。用于查找相关文章的关键字符串是“AI在教育中的风险”，“AI在学校教育中”，“AI教育中涉及的风险”，“AI在K-12教育中的风险”，“AI伦理”，“AI教育的问题”，“AI整合在K-12课程中的挑战”，“AI鸿沟”，“AIEd中的偏见”，“在教育中使用AI的问题”，“AI教育的隐私问题”，“人工智能教育的安全性”“将人工智能纳入教学中的问题”，“学生和教师对使用人工智能的看法”。对这一系统性综述的初步研究包括了在各级教育背景下关注人工智能的研究。

2.3. Inclusion and Exclusion Criteria

根据研究目的和研究问题，制定纳入和排除标准。这些标准用于筛选最初选择的关注教育中人工智能的文章（表1）。

2.4. The Screening Process of Articles Selection

基于以下标准完成了初始检索文献的筛选过程（图1）：（1）删除应用排除标准的文献，（2）通过68 Bulletin of Science，Technology & Society 43（3-4）阅读标题和摘要删除文献，（3）删除重复文献，（4）从最终筛选的文献中提取数据。在筛选过程中，从最初的390条检索记录中删除了11条重复记录。初步审查由两名研究人员完成。通过初步审查，通过阅读标题和摘要，记录数量从379条减少到208条，14篇文献未检索到。根据纳入和排除标准，从194篇文章中进一步删除了109篇文章。然后，两位研究人员初步审查了85篇文章的全文。最终，经过两位研究者的讨论，通过系统综述选择了71篇文章（附录1）进行最终分析和综合。

3. Analysis

所选文章按发表年份进行系统编排。所有入选文章的出版年份均为2006年至2023年之间的福尔斯。本研究中的大多数文章（64篇）都是在过去五年（2018-2023年）发表的。值得注意的是，关于教育中AI整合领域的研究以及与K-12教育整合相关的可能风险的调查正在逐渐增加。研究正在急剧增加，以评估与K-12课程中AI整合相关的风险因素。报告K-12教育中AI风险因素的研究按时间顺序增加如下所示（图2）。

71篇选定文章按不同类型出版物的分布及其贡献百分比见表2。它显示了不同期刊和其他出版物对评估人工智能融入学校教育风险的兴趣日益浓厚的研究出版趋势。该分布还详细显示了所选文章的来源及其贡献。最重要的是，对文章全文的深入分析有助于研究人员发现人工智能融入K-12教育的几个风险、问题和挑战。在确定了71篇文章中报告的所有负面因素后，研究人员将其分为6个主要风险因素（图3）。所有71篇文章均按确定的6个主要风险因素及其贡献百分比进行分布。识别出的6个风险因素是（1）隐私和自主风险，（2）人工智能偏见，（3）准确性和功能风险，（4）Deepfakes和FATE风险，（5）社会知识和技能建设风险，（6）教师角色转变风险。已识别风险因素的文章分布（累积百分比）见图3。

4. Findings and Discussions

学校教育已开始从传统的教学方法转向智能教育，以提升学生的学习体验（Jaiswal & Arun，2021），而将信息技术引入课堂为教师进行数字化转变带来了极大的便利（Xue & Wang，2022）。人工智能逐渐成为应用于各个领域和各级教育的主要信息技术之一。在不久的将来，不使用人工智能来思考学生的生活几乎是不可能的。最终选出的71篇文章都报道了人工智能对学校教育系统的广泛潜在影响。人工智能创新在教育机构中的快速融入可能会带来广泛的好处，也会带来一些重大风险（Remian，2019）。下文讨论了从71篇文章的报告和结果中识别的风险因素。

4.1. Privacy and Autonomy Risks

与学校教育中的人工智能整合相关的最大伦理问题是隐私问题，当教室中的监控或跟踪系统未经学生和教师的同意而收集有关学生和教师偏好和行为的详细信息时，就会出现这种情况（Akgun & Greenhow，2022）。例如，用于个性化学习的AI可以自动获取学习者的个人信息、学习表现、风格和技能。AIED系统的感知公平性问题主要由数据隐私问题驱动（Chen，Xie，et al.，2020年;利顿·格雷，2020年）。Murphy（2019）指出了学校中AI的几个潜在风险，包括数据隐私、安全、获取适当数据以训练AI、对AI系统的偏见以及缺乏数据透明度。Zanetti et al.（2019）报告称，在学校使用AI的最常见风险与隐私因素有关。例如，用于帮助管理员预测学习模式、学习者的表现、优势和劣势的人工智能监控机制有时具有内在的压迫性，因为它最有可能用于控制学生和教师的自然表达（Andrejevic & Selwyn，2020; Dewan等人，2019年;蒙哥马利& Marais，2014年;瓦莱拉等人，2015年）的报告。与面部识别系统相连的AI监控的一个重大风险与隐私的快速丢失有关。因此，严密的监视影响到个人的表达自由。Crawford（2016）指出，“这些工具在失效时是危险的，在起作用时是有害的”。在这种情况下，当监控算法机制通过访问学生的个人信息开始预测时，可能会出现严重的问题，这引发了公平性、隐私和自主性的问题（Akgun & Greenhow，2022）。使用AI技术监控在线学习已经证明了对学生的复杂影响。例如，Proctorio，一个人工智能系统，在美国使用，通过审查学生和他们的电脑屏幕来阻止考试作弊，报告说，它的使用增加了学生的考试焦虑，由于害怕信息泄漏（麦克阿瑟，2020）。因此，学监在考试中对学生的监控扰乱了学生的情绪，造成了一种不舒服的考试气氛。Reiss（2021）认为，校园内的AI监控和跟踪系统会给师生的工作和生活带来很多不便。该系统不仅跟踪学生和教师的活动，还揭示了学生未来的偏好、优势、劣势以及学习模式和行为（Regan & Jesse，2019），这威胁到了学生的自主权，使他们处于言论恐惧的状态，阻碍了他们积极参与学习活动。就目前而言，人们观察到，虽然AI可以加强学生和教师之间的虚拟交流，但不断的评价（例如，基于AI的眼睛跟踪和面部表情分析）使他们感觉像是在监视之下，并使他们感到不舒服（Seo等人，2021年）的报告。

此外，言论和表达自由是民主社会的一项基本权利。根据Bird等人（2020）的说法，这项基本权利可能会受到人工智能技术使用的深刻影响。例如，在印度，人工智能情感分析工具越来越多地用于测量在线语音的语气和性质，这些工具通常经过培训以执行自动内容删除（Marda，2018）。这是一种不安全的趋势，因为机器学习能力有限，无法理解学习者的自然音调和上下文。再次，在使用基于AI的人脸识别系统时出现了违反自主性的情况。它被用来识别再教育营和普通学校学生的情绪和注意力状态（布赖森，2019）。这一系统的识别结果可能被错误地用来惩罚那些不专心或似乎不愿意接受再教育的学生。事实上，当使用AIEd工具时，学习者可能对他们的学习缺乏实际控制（卢普顿&威廉姆森，2017）。

AI系统需要大量的数据来运行和支持AIED，如果数据出错，最终可能会有很高的隐私风险，并可能威胁到儿童的隐私权、安全权和保障权（Holmes et al.，2022年; Kim等人，2022年; Su和Zhong，2022年; Yau等人，2022年）的报告。Chaudhry和Kazim（2022）报告称，AI可能会在新数据出现问题时出错，或者被黑客攻击，造成偏见，对每个学生都不公平对待。Hwang和Chien（2022）还观察到在教学中使用人工智能的潜在伦理问题，如侵犯隐私、欺凌、欺骗和教育不平等。根据Al Shamsi等人（2022）的研究，如果使用人工智能语音助手在未经允许的情况下泄露学生的个人信息，并将他们的隐私置于危险之中，他们可能会认为这是无用的。Ng et al.（2022）揭示，由于人工智能系统的傻瓜证明偏见，学生们不愿意在人工智能系统中分享他们的个人信息。学习者只有在感到安全的情况下才能分享个人信息，使用人工智能的结果是可信的。因此，在应用基于人工智能的个性化教学技术之前，必须注意隐私问题（Zawacki-Richter等人，（2019年版）。

4.2. AI Biases

另一个主要问题是人工智能算法中存在有意识或无意识偏见的潜在风险。人工智能偏见的问题直接或间接地与公平性问题有关。人工智能所做的任何有偏见的分析都会对学生行使人权的能力产生负面影响（在性别、年龄、种族、社会经济地位等方面）。Akgun和Greenhow（2022）观察到，社会歧视和偏见是学校教育中人工智能伦理的关键问题。由于其系统中的偏见数据馈送，人工智能偏见得以延续。在K-12教育的背景下，这种系统偏见对用户造成的危害更大。数而导致错误识别，其中只有非有色人种（例如，白色男性）表现出显著的变化（Banerjee & Chanda，2020; Stark，2019）。

人工智能系统中的算法偏差是一个关键问题。一项针对在校学生的研究报告称，由于人工智能系统数据集的性别偏见，学生成为受害者和被冒犯者（威廉姆斯等人，2022年）的报告。这种偏差可能出现在设计人工智能系统的任何阶段，除非采取适当的措施。AI系统会以任何形式出现偏差，因为它没有用不良数据进行充分训练，或者由于在其系统中有偏差数据馈送（Luckin等人，2022年）的报告。即使由于制度上的偏见而不能很好地发挥作用，学生的福祉也将受到威胁。根据Weinstein（2020）的观点，机器偏见的长期影响是暂停在学术环境中快速获取这些技术的充分理由。

此外，当一个基于人工智能的机器学习算法用西方国家的特定数据集训练时，其结果可能与来自其他国家的学习者没有直接关系。用于训练AI系统的一组个体的数据集可能偏向于某个组，因此，当用于不同的组时，可能不公平地进行区别对待（Bird等人，2016年;威廉姆斯和扬波尔斯基，2021年）。在这方面，Akgun和Greenhow（2022）指出，每当开发人员创建算法时，他们也会创建一组数据，其中可能包括最终可能转化为算法偏倚的偏倚。这些偏差算法忽略了个体差异。这些嵌入算法模型的偏见没有明确的意图，以种族歧视的形式出现（Andrejevic & Selwyn，2020;斯塔尔& Wright，2018）。强迫学生使用这些算法作为他们教育的一部分将是一个重大的伦理问题，即使他们明确同意同意他们的隐私（Bulger，2016; Regan & Steeves，2019）。

K-12教育中的AI偏见和偏见问题已被多项研究广泛报道（例如，Chaudhry和Kazim，2022年; Leaton Gray，2020年;米勒等人，2018年; Murphy，2019年; Steinbauer等人，2021年; Zanetti等人，2019年; Zhang等人，2022年）的报告。通过AI技术的语言学习中的偏差结果是由于在编程中不适当地馈送自然语言或由于其系统错误而出现的（Zanetti等人，（2019年版）。尤其是在语言习得阶段，学生在使用人工智能工具进行性别语言翻译时，会出现性别偏见。

此外，学生的分数分配存在明显的偏差，例如，AI系统会自动将就读于私立或独立学校的学生以及代表性不足的群体进行不公平的分类。如果人工智能系统的设计有意或无意地包含基于性别、年龄、种族、社会地位和经济状况的偏见，可能会影响到学生个人的人权。Berendt et al.（2020）在这一背景下指出，由于其不可见的后果，学校中人工智能的风险并不总是明显的。由于AIED处于发展的早期阶段，这种设计偏见可能会无意中影响学生的生活。一些研究报告称，人工智能技术并不总是在其设计方向上充分发挥作用。

AI偏见在其他形式中也是明显。例如，一项关于在线广告的研究发现，谷歌的人工智能系统向女性宣传的同等工作报酬低于男性，这无意中反映了更大的社会偏见（Cirillo等人，2020年）的报告。在对学生在校期间的进步进行预测分析时，使用这种类型的系统可能会在结果中产生较高的区分度。特别是，学生们使用基于AI的搜索“户外娱乐”的图像、探索QuickDraw的数据集来检查偏见，并感知这些偏见在他们自己生活中的影响（Zhang等，2022年）的报告。例如，支持自动化写作评估（AWE）的算法有时会有偏见（Feathers，2019）。

人工智能训练的数据通常从社会上的多数和少数阶层收集，如果在训练机器学习模型时忽略数据平衡，可能会导致对一个阶层的严重歧视，而忽略其他阶层（Mduma，2023）。该模型将涉及AI偏倚的高风险，很可能因预测不准确而产生错误结论（威廉姆斯，2021）。例如，学生们通过Teachable Machine活动实验了使用不平衡数据集如何导致有偏差的模型，并体验到AI可能由于其系统中的不平衡数据集而有偏差（Zhang等人，2022年）的报告。因此，在开发机器学习模型时，处理不平衡数据是非常重要的。教育领域的人工智能可能会在不了解用户知识的情况下产生偏见。在这方面，学生在使用人工智能系统时确实体验到了不公平，例如偏好技术答案、简短或冗长的答案，或语法优于内容（Stoica，2022）;在K-12水平的AIEd中避免有偏见的模型是一项具有挑战性的任务（Baig等人，2019年; Saghiri等人，2022年）的报告。

4.3. Accuracy and Functional Risks

智能教学系统和适应性学习被广泛地应用于观察学生的学习过程，分析学生的学习表现，并根据学生的需要提供即时的支持、提示和指导。了解AI技术的这些能力和特性，学校教师可以采用合适的AI工具和应用程序来提高学生的学习、动机和参与度。但设计一个自适应或ITS是具有挑战性的，因为这不仅是计算机编程技能，而且是将人类智能模拟成机器的技术。将人类智能模拟到机器中用于教学和学习的任务是具有挑战性的，并且可能由于在其系统中无意的人为错误而具有不能很好地运行的巨大机会。这种人工智能系统故障的风险可能会在教育中普遍发生，因为AIED是高度基于技术的，有人类的参与。例如，一个跨学科的专家团队可以开发一种智能机器，使学习者能够学习，实践，并与同龄人，教师和机器互动。但是，如果不了解人工智能技术的作用和功能，他们可能无法有效地运行系统，这将在他们的学习过程中造成严重的负面后果（Hwang等人，2020年）的报告。

根据Westenberger等人（2022）的研究，由于算法和人工智能系统是由人类设计和开发的，因此“无法保证系统完全按照预期工作”。这种不可预测的人工智能算法可能会导致系统如何得出结果的透明度不足。这就是所谓的黑箱问题。基于AI的系统也可以被操纵和更新以产生不同的结果。有时候，这种操纵可能会导致做误解，例如：如果用贴纸来操纵路牌，可能会出现解读错误的结果。同样，人工智能系统中的操作可能带来的误差也太高，无法用于教育。另一个关注点是，尽管自适应和个性化反馈对于教师减少他们的工作量是重要的，但是AI系统并不总是能够基于每个学生的需求给出不同种类的反馈（Burstein等人，2004年）。因此，目前的人工智能系统还不能满足教师对学生查询提供有效反馈的需求。

当人工智能系统最终采取了最终用户未请求的动作时，就表明了一种功能错误。当’take-action’命令与环境事件没有明显区别时，就会发生此错误例如，在波特兰，亚马逊Echo监听了一对夫妇的对话，并在这对夫妇不知情的情况下将录音发送给了他们联系人列表中的某个人（Banerjee & Chanda，2020）。人工智能系统的硬件和传感器在一系列环境条件下的平稳运行程度受到影响，包括温度、湿度、灰尘和悬浮颗粒物的波动、照明、前景和背景噪音、电磁波的入射，即使人工智能系统没有重大缺陷。例如，在纽约，一个10岁的男孩能够在家中一间卧室的特定照明条件下，用自己的脸解锁他母亲的iPhone进行人脸识别验证（Banerjee & Chanda，2020）。另一种形式的错误源于人工智能系统设计，即在已知场景中，无法适当地科普某些变化。例如，用于确认个人身份的iPhone Face ID的活性检测功能看起来在真实的情况下有效，而不是面具或佩戴假肢和眼镜的人（Owen，2021）。因此，被设计为检测特定在线学习环境中的特定行为的AI算法不能在不同的环境中工作（Nikiforos等，2020年）的报告。

到目前为止，还没有任何研究能够确保这些错误不会在K-12教育背景下表现出来。人工智能的潜在用途可通过人工智能自动评估系统促进新的评估方法（Luckin & Cukurova，2019）。一个人工智能驱动的AWE系统已经被设计成专注于评分而不是反馈。然而，使用AWE进行评价也引起了各种争议（Feathers，2019），并担心缺乏可靠的证据证明其有效性。例如，这种评价体系就被批评为给学生表面特征的学分，比如句子长度，即使文本没有任何意义，也会被废话愚弄。这个系统也无法评估创造力。总结性AWE甚至没有解决由人工智能技术编写的学校作业的“深度伪造”问题。使用人工智能来批改作业也不承认批改作业的价值。因此，需要改进使用AI算法的AWE技术，为教师提供可信的评价（Qian et al.，2020年）的报告。最明显的挑战之一是人工智能在学习评价方面的技术能力有限。例如，人工智能可能无法有效地对图形或数字和文本进行评分。Fitzgerald等人（2015）报告称，当文本包含图像时，基于人工智能的系统无法评估文本的复杂性。人工智能算法的这种有限的可靠性被发现是另一个相当大的挑战。

识别、分类、评估学习模式、校园安全、防止假出勤和代理。该系统通过计算分析面部形状和特征来工作，这些面部形状和特征根据几何坐标集之间的定位和距离（例如，每个瞳孔的中心、鼻梁、眉毛的末端）。因此，人们担心这个系统会造成错误识别和不正确的辞职（Brandom，2018），特别是考虑到面部识别算法无法区分同卵双胞胎（King，2019）。一个小但越来越多的美国学区开始实施面部识别系统，用于校园安全，入口识别和生物识别出勤，基于以前输入系统的数据库（Durkin，2019）。这一制度的问题表现在，在一个年级被录取的学生可能在下一学年改变他/她的容貌，导致入学时被系统错误识别。另一方面，大多数学校执行着装规定，禁止学生的脸被头发、头巾或其他突出物遮住。这使得学生很难从监控摄像头中隐藏自己的脸。这也引起了校园面部识别系统对“知情同意”的任何承诺的不足（Andrejevic & Selwyn，2020）。

此外，辍学是一个普遍的问题。确定有可能辍学的学生是一项艰巨的任务。人工智能技术的机器学习系统越来越多地用于早期预测有辍学风险的学生，以减少其负面的社会和经济影响（Mduma，2023;塞利姆& Rezk，2023）。该系统能够根据学生以前的数据库（学生的学习模式和成绩、出勤率、监测他/她的学校活动等）确定有辍学风险的学生。如果一个学生被机器识别为有辍学的风险，而班主任在积极参与、学习参与和行为模式方面对学生的观察是不同的，那么人工智能功能的准确性可能会引起问题。没有足够的经验证据支持其早期预测的有效性。

4.4. Deepfakes and FATE Risks

另一个与学校教育中AI整合相关的担忧是deepfakes。人工智能有潜在的危害，传播深伪造的学生和教师的话，图片，视频，信息和身份，在学校的数字媒体。deepfakes的不安全性是在线学习的最新障碍之一。根据Ali等人（2021）的研究，儿童，特别是那些由于年龄小而更容易受到伤害的儿童，被认为有很高的风险被人工智能操纵的媒体欺骗。Long和Magerko（2020）认为，社交媒体和搜索引擎上的AI算法夸大了错误信息和“假新闻”的传播。74科学、技术与社会公报43（3-4）

随着时间的推移，可以看到，在deepfake图像、音频和视频的质量上存在着戏剧性的变化（Tolosana等，2020年）的报告。例如，像FaceApp这样的社交媒体上的免费应用程序使用户能够在短时间内操纵数字内容。各种社交媒体（例如，Instagram）已经被诸如deepfakes和创造性过滤器（Ali等人，2021年;卡亚，2019年），这可能会通过比有效信息更快地分享虚假信息来误导年轻的学习者（Vosoughi等人，（2018年版）。人工智能系统产生的虚假音频、视频和图像现在可以在各种社交媒体上获得。然而，学生可能不知道他们，并可能认为是真实的，并开始在社交媒体上分享，做评论的问题，并成为受害者的deepfakes。

Deepfakes使用机器学习技术，例如自动编码器，以将视频中的一个人的面部替换为另一个人的合成面部（Cao等人，2019年; Zhang等人，（2018年版）。随着生成式建模算法（面向AI）的不断改进，deepfakes变得越来越可信，并且具有欺骗观众的高度可能性（Nguyen等人，（2019年版）。例如，2019年，Facebook创始人的一段深假视频出现在社交媒体上，声称出于安全考虑，他将删除Facebook。这段视频被几个人所相信，并在各种社交媒体平台上广泛分享（阿里等，（2019年版）。根据Zhang et al.（2022）的研究，学生们在中学时代就开始制作自己的第一个社交媒体账号，并开始体验AI内容。不幸的是，关于教K-12学生使用生成式人工智能工具的已出版课程非常少。因此，学生可能会成为FaceApp等AI工具生成的假媒体的目标。这种直接或间接接触人工智能的情况可能会对年轻学生造成伤害（Zhang等人，2022年）的报告。

此外，Buckingham Shum等人（2019）探讨了学校的AIED本身涉及公平、问责、透明度和道德（FATE）问题。人工智能在所有部门的命运问题都与上文讨论的其他问题直接或间接相关。当人工智能应用于课堂环境时，命运在AIED中显现出来。这些问题受到政治和社会文化方面的影响，而人工智能系统是看不到的。因此，如果人工智能的结果不恰当，强制教师更多地依赖人工智能可能会对问责造成危险。甚至，人工智能推荐系统的大量使用，以及对自动化解决方案的过度依赖，都可能增加破坏人类教师角色和责任的威胁。根据Bogina et al.（2022）的研究，人工智能伦理要求教师、学生和组织承担更多的责任和问责。所有形式的AI部署都需要真实的数据，因为数据是AI系统的核心部分。但近年来，海量的个人信息成为网络犯罪的一大目标。K-12教育中的AI将在多大程度上透明，将如何收集数据，将使用哪些数据，使用哪种算法来处理数据，学生和教师的个人数据将如何得到保护。现有资料很少，无法解决这些问题。缓解AIED中的FATE问题并不是一个简单而直接的过程。目前，AIEd社区已在努力减轻与FAT相关的问题，以广泛实施AIEd系统（Bhimdivala等人，2022年）的报告。

4.5. Social Knowledge and Skill Building Risks

AI系统在所有行业中的使用越来越多的经验证据表明，今天的学习者在不久的将来需要在所有行业中使用AI。研究（例如：Ahmad等人，2021年; Duggan，2020年; Guilherme，2019年; Ilkka，2018年; Seo等人，2021年;索斯盖特等人，2019年; Sperling等人，2022）调查显示，在学校中使用人工智能作为一门学习学科和教学法，有望提高教师和学生的人工智能知识、素养、技能和21世纪的数字能力。另一方面，它在教学中的应用将使学生掌握许多通常在学校培养的社交技能。例如，Akgun和Greenhow（2022）揭示，AI系统的极端使用会减少儿童的内省和独立思考。监控和跟踪学生的在线对话和行为也可能限制他们参与教学和学习，并使他们感到不安全，为自己的想法所有权。类似地，尽管中国使用的人工智能解决方案Squirrel AI旨在通过自动调整自身来提供适应性学习环境，但它显示出限制学生创造性学习能力的风险（Beard，2020; Seo等人，2021年）的报告。

一些研究报告指出，在教学中过分强调人工智能系统会降低学生的概念技能的影响力，并增加狭隘的技术技能的主导地位。此外，AI在教学中的自动化可能会分散教师的课堂管理技能的能力。用人工智能技术替代许多教学活动，可能会将教师和学校管理者的职业权力和威望转移到人工智能程序员和/或系统设计师身上。决策的这种转变可能会造成技能下降的风险，并将公共责任和权力转移到私营部门，这可能会导致学校环境中失去民主控制（Condliffe，2016）。另一方面，据调查，人工智能的广泛使用会导致信息处理方式过于机械，创造力下降，人们更注重主题知识，而不是审美本能和情感，这会严重影响社会关系（Gocen & Aydemir，2020）。如果人工智能系统真的在教与学的几个任务上取代了人类教师，它将阻碍学习者的社会情感发展，而学习者的社会情感发展最好通过课堂互动来滋养。不确定一台机器如何能给我们学校的学习者以情感上的支持。关于机器如何通过其自动化系统来处理这些社会技能，还没有找到足够的经验证据。在此背景下，教师担心AI系统集成会使教学方式去个性化，减少与学生的社会关系。他们认为人工智能无法感知并向学习者提供社会情感支持（Kuleto等人，2022年）的报告。如果年轻的学习者在几乎所有的学习活动中都被迫与AI机器人互动，他们将逐渐失去学习能力，即如何与社会中受人尊敬的成员进行互动，并具有同理心和互惠性，而这正是人际关系的特征（Serholt等人，2014年）的报告。在此背景下，Felix（2020）预测，AI系统在课堂上对改变师生关系有着深远的影响。这带来了一个道德问题，即如果机器人的关系排挤了人类，它将减少培养与其他人类的相互依存关系，并可能对学生成为社会存在的潜力产生负面影响。

Ilkka（2018）证明，在教学中过于关注人工智能系统会减少教师的基础和社会教学知识。Holstein等人（2020年）强调将混合人工智能方法纳入教育，包括共同教学场景和课堂教学中学习技术的整合。使用人工智能解决方案进行课堂交易可能会降低人类认知的重要性。例如，随着人工智能能够将语音翻译成文本，反之亦然，阅读障碍可能会变得不像过去那样重要。大多数研究都认为，人工智能工具具有支持K-12学习者在短时间内轻松完成数学和计算任务的潜力。例如，Ilkka（2018）指出，人工智能系统支持学校学习者进行加法、乘法和计算高等数学问题;如果它们变得非常依赖智能系统，学习者将难以发展高阶数学能力、推理和逻辑技能。

尽管存在一些问题，但Borenstein和霍华德（2021）探索了社交机器人，一种智能机器，目前正在K-12教室中广泛使用。它通过唤起像人类一样的社会反应，在社会互动的背景下显着执行许多任务。学生们还注意到社交机器人能够有效地传播知识和信息。Duggan（2020）研究表明，模拟人类将任务和认知功能委托给机器的能力会增加对技术的依赖，同时削弱机器执行任务的能力。因此，作者认为，学生谁太依赖于计算机键盘可能会失去他们的能力，写清楚。同样，使用电子表格或计算器进行计算可能会降低他们的心算能力。因此，只有当这种智能系统有足够的空间在学校培养技术社会美德以促进学习者的社会进步时，才能纳入人工智能创新（Kiemde & Kora，2022）。

4.6. Risk in Shifting Teacher’s Role

AI技术正被用于加速在线教育，尤其是帮助教师监控异步论坛。它以多种方式帮助教师自动完成学术任务。一个例子是人工智能助手“Jill沃森”（Miao等人，2021），它几乎不需要人工辅助就能回答学生的问题。聊天机器人（Clark，2020）、智能辅导、自动评分系统（Heffernan & Heffernan，2014）等AI技术逐渐融入到教与学中。这些基于AI的系统在整个学习和教学过程中为所有教师提供了几个机会（Chen，Xie，et al.，2020年）的报告。这将转换教师在课堂教学中的自然角色。在Humble和Mozelius（2019）的研究中，将教师的角色转移到智能机器上被报告为一种危险。大多数教学任务都是在人工智能技术的帮助下完成的，这将减少教师在物理课堂中的角色。人工智能技术削弱了教师的作用，这将对低年级的学习者产生危险。因此，人工智能驱动的教育数字化确实意味着学习者在未来的课堂上需要更少的教师（Dillenbourg，2016）。

人工智能系统可能会影响学生和教师在学习环境中的互动方式（Guilherme，2019）。如果学生和教师强烈关注人工智能系统对他们互动的影响，他们可能会避免使用此类系统（Felix，2020），因为人工智能系统对教师和学生互动的显著影响的实证证据有限（Misiejuk & Wasson，2017）。就目前而言，ITS是一种复杂的人工智能技术，就像一个老师，它教每个学生根据他们的知识水平和优先级（VanLehn，2011）。ITS能够通过用实例呈现理论、向学生提问以及回答或帮助学生解决特定知识领域中的问题来辅导学生（Ahmad等人，2021年）的报告。与真实的的教师不同，AI系统可以单独与每个学生交流，并定制学习环境。学员可以根据自己的理解或知识水平获得学习支持。不像真实的的教室，学生们感觉很轻松，可以和这样的机器交流，没有任何压力和压力。机器会根据每个学生的知识水平和兴趣来对待他们。在没有人类教师的任何影响的情况下，诸如批改、出勤和作业检查的任务将由智能系统深刻地执行（Ahmad等人，2021年; Dignum，2021年）。因此，智能教学系统可以在没有教师参与的情况下执行许多教学任务。根据Ahmad等人（2021年）的研究，这也对教育产生了负面影响。通过AI系统获取教育减少了学生和教师之间的交互，也没有给学生提供任何物理课堂环境的体验。这是最大的弱点，需要进一步调查研究。Li等人（2018）透露，人类老师比机器人更受欢迎。同样，学生们也更喜欢人类老师，即使机器人比人类更有知识，更好地提供教育。

有一种可怕的信念，认为AI系统在教与学中的整合可以完全取代人类教师。由AI驱动的教育中的完全自主任务（例如，行政任务、教学和保护学院的安全和安保）将使人类教师的活动（Holmes et al.，2022年）的报告。Ahmad et al.（2021）报告称，AI在教育中的大规模部署将显著减少教师的工作量，这可能导致教师失业。在学校环境中，越来越多地依赖人工智能技术并不总是有利。它将增加人类教师在一些教学任务上的替代可能性。在这种情况下，由于人工智能的快速集成及其在该领域的影响力，教育中的教学工作需要教师角色和教学方法的实质性变化（Popenici & Kerr，2017）。

人工智能一直是政策制定者讨论的首要议题，因为自动化会导致就业岗位流失（Ilkka，2018）。尽管AI自动化的进步提高了所有部门的生产率，但它减少了对人类工人的需求，并加剧了对取代人类劳动力的担忧（Long & Magerko，2020）。结果，包括教育在内的不同部门的许多工人失去了工作，失业率上升（Luckin等人，2022年; Taguma等人，（2018年版）。和其他行业一样，如果AI技术在学校情境中的整合开始让教师的教学任务自动化，那么教师的工作会发生什么变化？如果所有这些教师都被人工智能机器人取代，将会出现大规模的失业。

由于人工智能自动化和计算机化的快速融合，人工智能技术在学校的各种教学任务中取代人类教师的风险加快。根据Chiu and Chai（2020）的研究，教学和学习的自动化和计算机化将导致教师失业。在教学任务中过度强调人工智能系统将取代人类教师，降低教师的作用，并产生各种形式的偏见（Kim & Kim，2022）。另一方面，AWE系统正在帮助教师自动评分，评估和向学生提供反馈。Ferman等人（2021）观察到，AWE系统的结果与教师在日常任务中的结果一致，并且运行所需的技能较低。作者还论证说，先进的AWE是完成语言教师最复杂和常规任务的更好替代品。Edwards和Cheok（2018）在回应美国教师短缺时，承认用AI机器人取代教师或教师的某些角色。虽然这可能会给许多教师带来一些不适甚至恐惧，但它正逐渐成为现实。

研究（例如：Manyika等人，2017年; Powell，2014年; Steinbauer等人，2021）在这一背景下，报告称，AI将不仅作为课堂助手或学生的同伴，还将能够承载与学习者的情感关系，并按照人类教师的期望处理课堂管理。更进一步地说，像人类教师那样能够完成更高层次的认知任务，这表明他们在学科教师方面会更好。所有这些都表明，未来的课堂形式，完全成熟的机器人教师是高度期望在控制（Sharkey，2016）。虽然不是每个人都同意，但AI和机器人技术的快速发展在不久的将来将完全接管人类的工作（Grace等人，（2018年版）。虽然，一个机器人教师将造成一个破坏的教育景观在不久的将来，相信一个新的角色，教师将出现处理类。此后，一些教学设计者和利益相关者认为，课堂上的机器人既不会也永远不会有能力取代人类教师的角色（Chin等人，2010年、2013年; Lee等人，2008年; You等人，2006年）。

5. Conclusion

任何创新的出现总是涉及积极和消极的方面（薛和王，2022）。真正的事实是，风险和收益都与AI融入K-12教育有关。令人惊讶的是，本研究发现，迅速增加的文献反映了其在学校的教学和学习中使用的可能风险。沿着广泛的益处，研究报告了将AI纳入K-12水平的几个风险。基于研究目的，本研究仅探讨学校教育中发生成人教育异常的危险因素。我们发现了一些风险因素，并将其归类为6个主要的风险因素，在71篇文章中报告，可以严重影响学校环境中的教学和学习过程。71篇文章指出，将人工智能融入学校教育会对学生和教师的自主权和隐私造成严重关切。人工智能技术的持续监视和监控系统在未经教师和学生同意的情况下访问他们的个人信息，这造成了受限制的学校氛围，使他们害怕说话，焦虑，表达和积极参与教学。了解人工智能技术的真正能力和潜在影响，学校正在迅速将其融入教学和学习。一些研究表明，人工智能系统并不总是按照命令和系统设计准确地执行，有时结果不准确。由于系统的错误、算法设计中的错误指令以及其他技术缺陷，人工智能在学习过程中会产生不正确的功能，并对学习者产生有害的结果。与AI整合到学校教育（K-12）相关的最大风险是在教学和学习的许多任务中取代人类教师，并导致学生-教师之间缺乏物理互动，以及课堂教学中的同伴。人工智能的集成帮助学校自动化教师的教学任务，包括评分，总结性评价，提供反馈，回答学生的提问，而没有任何人类教师的助手，这会导致教师失去专业会计和真正参与教学的担忧。

此外，许多研究报告了与人工智能技术相关的深度伪造的风险，这些风险可能会在各种社交网站上误导年轻学习者。使用人工智能技术操纵的音频、视频、图像和学习信息可能会在早期的学术和个人生活中对学校学习者造成伤害。因此，缺乏与人工智能技术的使用直接相关的FATE，当人工智能应用于课堂环境时，这种技术广泛表现出来。同样明显的是，人工智能的使用并非没有偏见。研究报告了人工智能系统中的性别，种族，肤色，阶级和语言偏见，这些偏见是学生和教师在教学和学习过程中所经历的。与此相关的是，过度强调人工智能系统的学习导致学生的概念技能，审美本能和情感的能力下降，这些能力会影响社会关系。此外，如果年轻的学习者被迫在几乎所有的学习活动中与人工智能系统互动，他们将逐渐失去如何与社会上受人尊敬的成员进行同情和情感互动的学习能力，并失去所有类型的社交技能。同样，教师在完成多项教学任务时，也会因人工智能机器的替代而丧失社会教育技能。因此，K-12水平的人工智能整合更有可能带来违反道德原则的技术社会问题，并可能改变学生的生活方式和关系（Kiemde & Kora，2022）。因此，只有充分关注减轻人工智能道德和风险，学校才能有效地将人工智能创新融入教学和学习中。

以上内容全部使用机器翻译，如果存在错误，请在评论区留言。欢迎一起学习交流！

如有侵权，请联系我删除。xingyezn@163.com