美国教育技术办公室发布《用人工智能设计教育：开发人员必备指南》-中文全文翻译-CSDN博客

本文链接：https://blog.csdn.net/qq_29868553/article/details/144239791

在这里插入图片描述

原文地址

Abstract

今天和未来，越来越多的人工智能（AI）模型和功能将被整合到专门服务于教育环境的产品中。美国教育部致力于鼓励教育技术的创新进步，改善全国教育系统的教学和学习，并支持开发人员使用 AI 为教育市场创建产品和服务。
本指南以该系之前的报告《人工智能和教与学的未来：见解和建议》为基础，旨在为产品负责人及其创新者、设计师、开发人员、面向客户的员工和法律团队提供信息，因为他们在创建用于教育的 AI 产品和服务时努力实现安全、保障和信任。这种前景比构建大型语言模型（LLM）或部署聊天机器人的范围更广;它包括现有和新兴的 AI 功能可用于推进共同教育目标的所有方式。

1. Introduction

今天和未来，越来越多的人工智能（AI）模型和功能将被纳入专门服务于教育环境的产品中。美国教育部致力于鼓励教育技术（edtech）的创新进步，以改善全国教育系统的教学和学习，并支持开发人员使用人工智能为教育市场创建产品和服务。

在该部门之前的报告《人工智能与教学的未来：见解和建议》（2023年人工智能报告）的基础上，本指南旨在为产品负责人及其创新者、设计师、开发人员、面向客户的员工和法律的团队提供信息，帮助他们在创建用于教育的人工智能产品和服务时实现安全、可靠和信任。这一领域比构建大型语言模型（LLM）或部署聊天机器人的领域更广泛;它包括现有和新兴AI功能可用于进一步实现共享教育目标的所有方式。

我们在这里的见解旨在支持管理团队的人员设计和开发利用人工智能来改善教学和学习的产品。我们试图解决与edtech开发人员相关的主题，包括老牌公司和新来者，以及研究，非营利和营利组织的开发人员。我们不仅针对正规教育环境（包括小学和中学，学院和大学）的产品开发人员，而且还针对家庭，社区和其他非正式环境的教育用途。为此，本文档的每个部分都围绕一个核心建议构建，并包括一组组织领导者可以用来促进对话的讨论问题，促进健壮开发过程的后续步骤，以及可以提供额外支持的资源。请注意，该部门和其他联邦机构正在积极考虑下一步措施，以促进安全和负责任地使用人工智能。因此，本文档向开发人员提出了“要问的问题”和“要追求的方向”，这些都是有意开放的。

本指南提供非监管性的、针对教育的指导，与联邦指导方针和护栏保持一致。本指南对现有的联邦指南和护栏的覆盖并不全面或详尽。它不旨在也不使开发商能够建立其对法规的遵守。此外，它不打算也不会引入任何新的要求。在给出示例的地方，包括非美国政府网站的链接，它们旨在说明，而不是将本指南的应用限制在其他形式的AI中，因为它们可用于教育。我们提供这些外部链接是因为它们包含与本文档中讨论的主题相关的其他信息，或者可能对读者有用。我们无法证明所引用的第三方网站或任何其他链接的第三方网站上提供的信息的准确性。我们提供这些链接仅供参考;链接到外部资源并不构成该部的认可。开发人员可以使用本指南来增加他们对基本联邦指导方针和护栏的理解，以指导他们在为教育环境创建AI应用程序时的工作。

回应2023年10月的行政命令

本指南是对2023年10月30日拜登总统关于安全、可靠和值得信赖的人工智能开发和使用的行政命令（关于人工智能的行政命令）的回应，该命令规定如下：

为了帮助确保在教育部门负责任地开发和部署人工智能，教育部长应在本命令发布之日起365天内，制定有关人工智能的资源，政策和指导。这些资源应解决在教育中安全、负责任和非歧视性地使用人工智能的问题，包括人工智能系统对弱势和服务不足社区的影响，并应酌情与利益相关者协商开发。

本指南是由一个广泛的系列公开听证会与学生，家长和教育工作者沿着与开发人员，行业协会和非营利组织。这包括代表各种公司规模，资金模式和组织类型（营利/非营利）的开发人员的横截面。与会者分享了他们目前的安全和保障方法，他们和他们的用户面临的风险，对支持和资源的建议，以及对未来建立信任机会的想法。几次额外的倾听会议由一小部分开发人员（在上面的贡献成员部分中列出）从最初参与的人中选出。当本指南提到倾听会议时，它包括所有这些听取选民意见的机会。

本指南借鉴了越来越多的关于人工智能的联邦出版物，其中包括以下示例：

科学和技术政策蓝图办公室的人工智能权利法案：2022年白宫白色文件，该文件广泛塑造了一项战略，为公民提供信息并保护他们免受人工智能和相关技术的影响
美国国家标准与技术研究所（NIST）的人工智能风险管理框架：保护开发人员和最终用户利益的七步框架，特别是与使用人工智能组件和即将出现的新兴技术的教育科技公司相关的框架
情况说明书：贝里斯-哈里斯政府获得另外八家人工智能公司的自愿承诺，以管理人工智能带来的风险|白宫：白宫与科技公司的接触凸显了联邦政府、开发者组织和其他选民之间的共同责任。

广义地定义“人工智能”和“EdTech”

该部门对“AI”和“edtech”这两个术语有着广泛的看法。本文档的指南广泛适用于开发人员可能集成的多种类型的AI，以及他们的产品在教育环境中的多种使用方式。

方框A：关于人工智能的行政命令中定义的人工智能。
术语“人工智能”是指基于机器的系统，其可以针对给定的一组人类定义的目标，做出影响真实的或虚拟环境的预测、建议或决策。人工智能系统使用机器和基于人类的输入来执行以下操作：

感知真实的和虚拟环境
通过自动化方式进行分析，将这些感知抽象为模型
使用模型推理来制定信息或行动的选项

作为界定“人工智能”的起点，我们注意到人工智能的法定定义（见上文方框A），该定义也出现在关于人工智能的行政命令中。正如我们在该部门的2023年人工智能报告中指出的那样，人工智能是许多研究和创新子领域的总称。根据国家人工智能研究资源任务组的2023年人工智能指数报告，我们继续观察人工智能在许多领域的快速发展，如语音，视觉，机器人和文本。

方框B：教育技术的定义
根据该部门2023年人工智能报告的定义，edtech包括以下内容：

专门为教育用途设计的技术
在教育环境中广泛使用的一般技术

同样，我们对“教育技术”的定义也很宽泛（方框B）。在一份独立市场研究公司的报告中，截至2022年，K-12和高等教育的全球教育技术市场价值为1230亿美元。这个市场包括初创公司、小企业、非营利组织和大型公司–具有特定教育使命的公司以及其他具有教育和其他领域使用的产品的公司。有一个广泛的产品范围从基础设施到学生信息系统，学习管理系统，以特定的最终用户应用程序和更多。

虽然市场是由买家和卖家定义的，但我们对教育科技“生态系统”的定义是广泛的，包括许多不同的人和组织一起工作，设计和改进新产品和服务。在这个生态系统中，对行政命令“安全、保障和信任”概念的讨论将注入更具体的教育概念（例如，证据、公平性、数据隐私）。生态系统的参与者包括教育采购部门、其他教育决策者、教育工作者、家长和监护人、学生、非营利组织、中学后教育机构以及更广泛的社区成员。该生态系统包括直接创建或使用AI产品的人以及受AI产品影响的教育系统中的人。建立信任的共同责任远远超出了买卖;它在整个生态系统中的开放和参与式沟通中蓬勃发展。

关键信息：建立信任的共同责任

透过聆听会议，本署得悉《2023年人工智能报告》中的一项关键建议“优先加强信任”，引起开发者的共鸣，并呼吁他们采取行动。开发人员认识到“信任”在他们参与的教育科技生态系统中的重要性。信任改善了开发人员和教育工作者之间的共同设计过程，使他们能够共同创建和扩展创新产品。因此，开发人员可以从了解如何与生态系统中的其他人合作以加强信任中受益匪浅。具体的关键信息如下：

1.信任是共同的责任。

总统关于人工智能的行政命令从标题开始就明确指出，联邦政府有责任促进“安全、可靠和值得信赖的发展”，并阐明了分担责任的立场（见下文）。因此，开发人员将在本文档中找到有关在何处查找直接适用于其教育工作的联邦法律和其他联邦资源的信息。由于技术发展迅速，开发人员可能会发现，除了关注和遵守当今的联邦指导方针和护栏之外，赢得信任是很有价值的。一个重要的例子是软件和信息产业协会的《人工智能在教育中的未来原则》，其中阐述了七项原则（例如，他们的评估原则要求不断评估人工智能的影响）。TeachAI还制定了AI教育原则，作为其AI学校指导工具包的一部分，以指导AI在教学和学习中的有效开发和应用。作为第三个例子，许多开发人员都参与了EDSAFE AI联盟，该联盟已经产生了一个通用框架，即SAFE基准。

“利用人工智能并实现其无数好处需要减轻其重大风险。这一奋进需要全社会的努力，包括政府、私营部门、学术界和民间社会。"
— Executive Order on AI

教育科技生态系统的其他成员也在承担责任，并为信任创造条件。各级教育领导人，包括州、地区和建筑层的领导人，都在撰写自己的指导意见（方框C）。开发人员可以查看这些资源，了解教育工作者正在采取的步骤，以建立理解和能力;加强采购流程;保护隐私，安全和公平;以及管理其他形式的风险。此外，在即将根据人工智能行政命令开发的教育领导人工具包中，教育部将塑造教育工作者之间的共同责任对话。许多非营利组织也在开发有用的工具包和资源（见方框D）。作为教育科技生态系统的关键参与者，我们鼓励开发人员负责任地与生态系统互动，以建立信任。

在这里插入图片描述

2.信任需要积极管理人工智能风险，以便我们能够抓住它的好处。

通过与开发人员的对话，该部注意到开发人员如何围绕其工作与他人互动的重要转变。虽然提出“解决方案”-技术如何改善教学，学习和其他教育过程-开发人员现在也公开讨论他们如何管理风险。一些开发人员公开分享了他们识别、优先考虑和管理风险的过程的细节。随着开发人员公开讨论风险管理，该部建议注意两种过程：（a）产生可信赖系统的技术开发过程和（B）在开发人员和其他生态系统成员之间建立信任关系的参与战略。

因此，维和部理解以负责任的方式讨论机会和风险的重要性。方框E列出了主要风险类别的例子。风险和机会将在本指南的后面部分更深入地讨论。

方框E：人工智能的风险类型，按顺序排列，而不是按优先级排列

AI“竞相发布”风险
偏见和公平风险
数据隐私和安全风险
有害内容风险
无效系统风险
恶意使用风险
错误信息管理风险（包括“幻觉”）
透明度和可解释性风险
准备不足的用户风险

在考虑风险时，重要的是要注意人工智能正在迅速发展。例如，就像教育工作者越来越熟悉面向文本的聊天机器人一样，行业正在推进和发布多模式功能，为潜在风险增加新的层次。因此，本指南概述了广泛的风险，并要求开发人员采用风险缓解流程，以解决当前可预见的风险和新出现的风险。

风险不仅是技术所固有的;风险也出现在技术和人类活动的界面上。随着人们使用人工智能，可预见和不可预见的风险都会出现。在其2023年人工智能报告中，该部门建议“人类参与循环”，然而，要求教育工作者审查人工智能的每一次使用或每一个基于人工智能的输出既不实际也不公平。开发人员有责任在开发过程中和产品在现场使用时“参与”审查人工智能的使用和输出。在方框E的基础上，我们展示了具有挑战性的场景，在这些场景中，开发人员和教育工作者都可能需要关注紧急风险，责任分工尚未确定：

当教师使用人工智能服务生成个性化的课程计划时，谁来审查和修改输出，以消除大型语言模型生成的错误信息，并确认内容是准确的，符合教育目标？
当课程协调员让人工智能来支持他们在学校使用的教学资源和形成性评估方面的工作时，谁来衡量资源的有效性和评估的有效性？谁来核实资源是否满足了得不到充分服务的弱势群体的需要？
当辅导员使用人工智能辅助工具来推荐大学和职业道路时，谁来检测和反对由于用于开发人工智能模型的历史数据集的偏见而导致的不公平建议，这可能会伤害弱势群体？
随着教育工作者使用人工智能来简化他们撰写有关学生工作的电子邮件或其他信件的工作，谁负责保护学生的私人信息不泄露给非预期的收件人，包括人工智能模型的开发者？
当管理人员和学校领导采购预警系统来识别可能“处于危险之中”的学生时，谁有足够的知识和时间来评估人工智能开发人员是否遵守了保障学生公民权利所必需的科学、法律的和隐私标准？
当教育工作者部署反剽窃检测器来识别学生对教育技术的不当使用时，谁有责任识别基于人工智能的检测器中的弱点和偏见，这些弱点和偏见可能导致不公平或不平等地惩罚学生？谁来确保得不到充分服务的弱势群体不会成为不公平的目标？

在上述每一个具有挑战性的情况下，教育部尊重教育工作者在监督教育决策方面的作用。然而，人工智能开发人员应该承担重大责任，因为要求教育工作者成为用于开发人工智能模型和相关软件的数据和方法的主要审查者是不合理的。基于行政命令对人工智能的重要强调，该部门呼吁开发人员特别注意识别和减轻人工智能对服务不足和弱势群体的潜在危害。

3.在整个发展过程中协调创新和责任：“双重堆栈”

开发人员使用堆栈的视觉隐喻来描述如何从分层或连接的组件构建产品。开发堆栈是协调复杂组织中许多创新者工作的强大方式;它协调整体产品或服务的生产和交付方式。该部强烈鼓励发展组织现在通过协调的“责任”堆栈来定义平行力量。该堆栈将确定复杂的教育技术开发组织中的人员如何共同努力，以赢得其产品教育用户的信任。见图1

图1：开发人员应该将责任堆栈与他们的创新堆栈集成在一起。
每个堆栈的具体内容是说明性的，而不是全面的。每个开发人员组织都应该详细说明堆栈，以适应他们工作的具体情况。

事实上，尽管开发人员之前可能强调了其组织中的一个特定风险管理办公室或角色，例如数据隐私角色，但在人工智能时代，一个负责安全的人是不够的。虽然这些现有的风险管理角色应该继续，但还需要其他角色来解决训练数据中的代表性，衡量和减轻算法偏差，纠正输出中的错误和错误信息，并解决其他问题。特定的风险将出现在特定的组件中（例如大型语言模型组件与计算机视觉组件），组件之间的交互中，以及构建和集成AI系统时发生的不同阶段（例如收集数据集进行训练，基于数据构建AI模型，以及基于这些模型设计用户交互）。教育开发人员可以检查他们的内部角色和流程是如何组织的，以实现对负责任的人工智能的持续关注，许多人已经在这样做了（方框F）。

方框F：开发商关于责任的公开文件示例

DuoLingo发布了其英语语言测试的负责任人工智能标准，涵盖了其有效性和可靠性，公平性，隐私和安全性以及问责制和透明度的方法。DuoLingo邀请公众对其文件发表评论。
在一份名为《可汗学院对负责任的人工智能开发的方法是什么？》的文件中，Khanmigo tutor的开发人员讨论了它如何披露风险，评估和减轻风险，限制对其软件的访问，以及教育其开发人员有关道德的问题。
Insurance发布了一项AI治理政策，讨论了负责任的AI使用，透明度和问责制，偏见和公平性，人类-AI协作，培训和教育以及隐私。
Grammarly分享了其对人工智能负责任创新和发展的承诺，其中描述了它如何履行承诺，例如，“所有模型都经过偏见和公平性评估。我们的分析语言学家团队运用研究和专业知识来最大限度地减少偏见并应用用户反馈。
”通过与许多开发者组织的合作，软件和信息产业协会制定了七项AI教育原则。
许多其他的开发组织已经制作了他们自己的关于他们的责任方法的文件。此外，如前所述，人工智能模型的八个主要开发者自愿承诺管理风险（见白宫情况说明书）。

该部门观察到，许多教育和一般人工智能开发人员正在制定自己的负责任的人工智能原则（见方框F和下面的报价）。市民若能承担责任，并对这些承诺负责，便会得益。因此，美国国防部强烈敦促开发人员解决如何将他们的“创新堆栈”（协同工作以提供新功能的组件）与并行的“责任堆栈”（协同工作以减轻每个组件和开发阶段的风险的角色）相结合。

“在对专门构建的有益人工智能的坚定信念的推动下，我们从一开始就优先考虑领域特异性和安全性。通过我们的负责任人工智能计划，我们邀请各种声音与我们共同创造解决方案。"
— Sharad Sundararajan, Co-founder CDO/CIO, Merlyn Mind

从设计教育到赢得信任的途径

通过听证会，该部门听取了开发人员和教育工作者对教育中人工智能的广泛具体关注。

图2：一个有助于赢得信任的发展过程

我们对这些问题进行了分类，并围绕五个关键的共同责任领域组织了本指南，如下所示（另见图2）：

为教育而设计认识到开发人员应该从理解教育的特定价值观开始开始。在许多例子中，教育部看到教育工作者加紧阐明价值观，如以人为中心的循环和参加优先教育的挑战，如阅读，科学，数学和计算机科学教育。此外，教育者和学生的反馈应纳入产品开发，测试和改进的各个方面，以确保学生的需求得到充分解决。
提供理由和影响的证据对于决定采用或采购哪些教育技术产品非常重要，特别是在产品的目标是提高学生成绩的情况下。1965年的《中小学教育法》（ESEA）和教育决策者都呼吁开发人员提供证据，证明产品或服务可以提高学生的学习成绩。例如，在采购方面，教育机构明确要求提供所需的证据。
促进公平和保护公民权利是该部门和政府的一项基本承诺，也是公众倾听会议中开发商和教育工作者的选民最关心的问题。例如，开发人员应该警惕数据集中的代表性和偏见问题，系统中的算法歧视，以及确保残疾人的可访问性。
确保安全和安保在关于人工智能的行政命令和相关的行政指导中得到强调。教育决策者正在清晰地阐述他们的数据隐私和安全要求，并在人工智能时代制定额外的要求，例如公民自由。为了负责任地参与生态系统，开发人员需要详细说明他们将采取的行动，以确保人工智能用户的安全。
提高透明度和赢得信任是一个重要的总体目标。赢得信任需要关注上述所有价值观，此外，还有一个重要的沟通维度，超越了输出。例如，信任需要透明度和其他公开承诺，以建立技术供应商和用户之间的相互信任。在开发人员、教育工作者和其他成员之间共同参与定义和协作行动可以建立信任。

建议1.教学设计

支持人工智能的产品和服务的开发人员应该首先高度关注教育特定的价值观和愿景，这些价值观和愿景在联邦、州和地方资源的组合中得到阐述，沿着支持非营利组织和行业协会在教育中使用人工智能的资源。关注道德是共同责任的一个重要领域。

Key Ideas

由政府（联邦、州和地方）、非营利组织和行业协会开发的资源可以为开发人员提供一个良好的起点，使他们的工作锚定在教育价值观和愿景中，避免负面结果。
以人为本和人在回路的方法，积极包括教育工作者正在成为教育决策者所要求的关键价值观，教育工作者和学生的反馈应纳入整个开发和测试过程。
开发人员应注意关键的道德概念，如透明度，正义和公平，非歧视，非maleficence/beneficence，隐私，教学适当性，学生和教师的权利，以及福祉。
人为因素、以人为中心的设计以及长期的软件开发实践可以为开发人员提供一个起点。

What to Know

《2024年国家教育技术计划》（NETP）提出了一种前瞻性的方法来重新构建和实现教育技术的潜力，以加强教学核心，减少成绩差距，并改善我们学校的学生学习。这是三个关键的国家优先事项。在发布该计划的活动中，美国教育部长米格尔·卡多纳（Miguel Cardona）表示：“在我们努力提高教育标准的过程中，我们必须专注于增强教师的能力，使其成为主动学习的设计者，以有效的方式使用技术来吸引和激励学生。”在2024 NETP中，开发者将发现大量与技术使用相关的教育愿景、目标和价值观信息。

值得注意的是，2024年NETP并不直接与AI相关。这是因为一个有效的教育目的和重要的未满足的需求应该是发展的起点，而不是对特定技术能做什么的兴奋。

在联邦层面，教育部的《2023年人工智能报告》就如何将生成式人工智能与教育工作者关心和需要的内容保持一致提供了额外的指导。报告中有关于学生学习、支持教师和改进评估的章节，并有许多关于人工智能如何在这些领域取得进展的例子。教育部观察到，报告中的以下两项建议在州、地方和国际论坛上与教育工作者产生了一致的共鸣：（a）强调人在循环中，（B）使人工智能模型与教育的共同愿景保持一致。当开发人员开始使用人工智能技术进行设计时，这些工具为教育工作者提供了重要的共同标准。

州（方框C）和地方资源提供了关于教育中人工智能的更多指导。这些资源部分地锚定了AI在教育中的愿景，即改变对学生未来就业的职业准备的期望。他们强调，培养教师和学生的人工智能素养对于负责任地使用人工智能至关重要。许多资源提供了关于改善公平和包容性的咨询意见。数据隐私、安全性和保密性是开发人员和学校领导需要解决的重要风险领域。总的来说，这些资源使开发人员能够更好地理解教育工作者是如何将机会概念化的。在方框G中，我们列出了这些资源中经常出现的一些机会。

方框G：在教育中使用人工智能的机会
该部门认为，提高学术成果的机会很多，以及在学术课程的学生的可访问性和包容性。下面是一些示例：

改善残疾儿童和学生的学业成绩、无障碍性和包容性
为学生学习课程主题提供更多更好的反馈和指导
解决学习者的差异（包括获取和包容）的各个方面，更好地将学习资源与每个学生的优势和需求相匹配，以及解决历史上服务不足的学生群体的需求
节省教师的行政时间，使教师能够专注于学生
使教师能够纳入基于研究的教学原则，就像那些在什么工作交换所实践指南中找到的，
通过提供在模拟教室和学生中实践具体教学策略的机会，改善教师的专业学习
降低定制学习资源的成本，以建立学生的优势和兴趣，
提高学校运营效率，如校车时刻表

当然，开发人员可能会通过自己与教育工作者的接触来获得同样重要的机会。就生成式人工智能而言，这些能力仍然太新，无法确定最好的机会在哪里。开发人员可以通过在产品设计、开发、部署和改进的每个阶段与教育社区建立强有力的反馈循环来加强目标的一致性和验证。在寻求反馈时，重要的是不仅要包括那些最有影响力的角色（例如，管理者、技术主管和/或其他决策者），而且还包括那些将最受教育产品或服务影响的人（例如，教师、特殊教育教师、学生和家庭）。听取不同的输入是开发人员保持人类参与的一种方式。与教育工作者共同设计，是教育部2023年人工智能报告中的一项建议，是制定共同责任的有力方式。然而，如前所述，让教育工作者参与设计和监控人工智能的使用并不是万能的，可能会给教育工作者带来开发人员理应承担的责任。

开发人员经常在新闻部的倾听会议上提出道德操守是一个重要的关注领域。研究人员和教育工作者一直在共同努力制定道德准则，新闻部希望这项工作继续下去。(See例如，本建议书的“资源”部分。对教育中人工智能主要伦理框架的审查发现，以下一般伦理概念适用于教育：透明度，正义和公平，不伤害，责任，隐私，善行，自由和自治。

除了调整这些原则以更紧密地适应教育环境外，审查还确定了四项教育特有的额外原则：教学适当性、儿童权利、人工智能素养和教育者福祉。这些道德原则是设计与儿童互动的人工智能系统的核心组成部分。例如，在产品中将动画教练呈现为人形角色，模糊了人与算法之间的界限，这是否道德？或者，如果人工智能被纳入一个系统，以支持教师健康的一个方面，那么护理标准是什么，以及人类护理人员应该在什么时候参与？随着这些工具在教育中的使用扩大，在设计和实施人工智能工具时考虑道德因素的其他例子将变得清晰。（见图3）。关于人工智能素养，评论指出，“人工智能素养强调了儿童和青少年学习人工智能的教育重要性，以便他们能够获得批判性的信息，以及建立教师专业知识和家长人工智能意识的必要性。”
在这里插入图片描述
2024年2月，NIST的研究人员建议，在1979年贝尔蒙特报告（该报告确立了保护研究中人类受试者的原则）中建立长期存在的概念-仁慈，尊重人和正义-可以组织开发人员如何解决人工智能时代的道德问题。例如，可以通过收集和分享产品提供预期益处的证据，以及通过减轻个人用户可能遭受伤害的任何情况（即使平均效果是积极的）来确定益处。这适用于解决方案的整个生命周期，从原型设计到产品化。额外的道德概念同样可以转化为开发人员可以采取的实际步骤（并建立在许多教育开发人员已经常规实践的措施之上）。

同样，开发人员在创建新的支持AI的应用程序时，应该关注权利和尊重人类尊严的基础。这与政府有关人工智能的行政命令中的措辞一致：

“在日常生活中越来越多地使用、互动或购买人工智能和人工智能产品的美国人的利益必须得到保护。…[这需要]适当的保障措施，以防止欺诈、无意的偏见、歧视、侵犯隐私和人工智能的其他伤害。"
— Executive Order on AI

国际资源，如欧洲委员会的建议，欧洲议会和理事会的条例：制定人工智能的协调规则，把人的尊严放在道德考虑的前列。

产品负责人及其团队不仅应该意识到道德问题，还应该找到在产品开发的整个生命周期中将道德交织在一起的方法。这适用于从最初的构思和原型设计阶段到产品部署，并随着解决方案的改进而永久持续-无论是自主还是人工干预-在产品的生命周期中。以价值为中心的设计是一种将人、目的和道德结合在一起的方法（请参阅参考资料）。此外，计算机协会还为开发人员提供了关于道德的有用指导（也在参考资料中）。

许多组织已经在其发展方法中注意到人的因素。人工智能对教育来说可能相对较新，但从简单到复杂的例子在制造业、航空业和零售业等其他领域已经流行了几十年。此外，以人为中心的设计概念在计算机科学中有着悠久的历史（请参阅下面的参考资料部分），并且是教育开发人员已经在不同程度上纳入其过程的东西。在倾听会议上，教育工作者强烈主张他们不仅参与初始设计，而且参与开发过程，以改进系统并参与向其他教育工作者解释AI在系统中的使用。同样，教育研究人员在整个发展进程中一直在为青年的声音营造空间。最重要的是，不仅要包括强大的用户，还要包括那些受AI在教育中的应用影响最大的用户。

“作为一名拉丁裔和神经多样性的学生，我认为减轻AI模型中根深蒂固的系统性偏见尤为重要。组建一支专门致力于解决这一问题的多元化团队对于构建安全的人工智能至关重要。"
-Nicholas Gertler，学生，AI问题咨询理事会主席，AI与教育顾问，Encode Justice

然而，在某些情况下，以人为本的设计可能只在用户体验（UX）开发层或教育科技公司的一个特定团队或部门的工作中受到关注。例如，向学生提供反馈可能被认为是一种UX功能。然而，给予学生适当的反馈可能取决于产品记录学生过去学习的质量、早期的教学干预以及什么样的反馈对该学生有效。因此，提供高质量反馈的数据库方面与提供高质量反馈的UX方面同样重要。对于以人为本的人工智能产品或服务，开发人员可能需要在整个系统设计和部署层中采用以人为本的方法。以人为本的教育AI开发应该贯穿于开发人员的责任堆栈中。

Questions to Ask

我们可以从书面教育策略（如NETP）和我们的教育客户如何描述使用AI的最重要和最公平的目的中学到什么？
我们的工作如何与该部门2023年人工智能报告中的“人在回路”建议保持一致？
通过什么样的反馈循环，我们不断地从用户那里学到更多关于如何与教育目的保持一致，以满足不同学生的需求，并尊重教育工作者的角色？
我们的团队如何理解人工智能在教育中的道德考虑因素，以及我们可以采取哪些步骤将道德融入我们的工作中？
在设计决策中，如何咨询来自服务不足环境的儿童和青年、家庭和教育工作者的意见？
我们如何不断加强开发原则（如人为因素和以人为本的设计），以解决新兴的人工智能相关功能和风险？

Directions to Pursue

开发人员应该熟悉表达教育愿景和战略的相关资源，包括国家、州和地方各级以及国际上可用的资源。
开发人员应该加深对不同学生群体在学习机会和学习成果方面的历史差异的理解，以及他们的产品如何有助于所有学生的公平。
开发人员应该在整个产品生命周期中加强与教育用户社区的反馈循环，从定义产品的目的到改进它的操作方式。开发人员应聘请道德专家指导他们的工作，并在开发、部署和持续改进产品的日常工作中建立团队对道德问题的理解。
开发人员应该让教育工作者和年轻人参与整个产品开发过程，不仅要包括那些有权力的人，还要包括那些最受产品或服务设计选择影响的人。
开发人员应该探索人类判断的障碍（例如，倾向于遵从来自技术的建议），误解基于AI的推理的局限性，或者低估一旦AI部署在教育环境中并扩展他们对人为因素的理解以涵盖AI支持的系统可能实现或阻碍合理的教学和教育决策的所有方式时出现更多风险的潜力。

Resources

Batya Friedman & David G. Hendry’s Value Sensitive Design: Shaping Technology with Moral Imagination
Center for Humane Technology’s Potential Policy Reforms Toolkit
Center for Democracy & Technology’s AI Policy Tracker
NIST’s Human-Centered Design Principles
Organisation for Economic Co-operation and Development (OECD) & Education International’s Opportunities, guidelines and guardrails for effective and equitable use of AI in education
United Nations Educational, Scientific and Cultural Organization’s (UNESCO’s) Artificial Intelligence and the Futures of Learning project
U.S. General Services Administration’s Human-Centered Design Guide Series

建议2.提供理由和影响的证据

通过清楚地阐明他们如何将基于证据的实践纳入其产品，以及他们打算如何建立有关产品可用性和有效性的新证据，教育中人工智能系统的开发人员和部署人员可以共同努力，以实现负责任的使用。支持人工智能的产品和服务的开发人员有责任解释研究如何为其产品提供理论基础（或逻辑），记录和分析数据以进行改进和解决风险，并评估对教育工作者和学生的影响，特别是那些历史上服务不足的群体或环境。

Key Ideas

ESEA规定了四个层次的证据（见ESEA第8101（21）节），这些证据表征了研究证据的质量，这些证据确定了教育产品或服务是否已被证明可以提高学生的成绩。(See也是该部门2023年9月的非监管指南。教育领导者在做出采用和采购决定时越来越需要这些证据。
开发人员应清楚地阐明现有的基于证据的实践如何为其产品或服务的设计提供信息。当尚未获得潜在创新功能的具体证据时，开发人员应该清楚更一般的科学原理，证明在产品设计中包含这些功能是合理的。开发人员应该清楚他们的产品或服务旨在改善学生的成果。当产品或服务提供商试图衡量这些结果时，所使用的衡量标准应该是高质量的（即，为学生和使用产品或服务的环境证明可接受的有效性和可靠性水平）。
开发人员应寻求建立与使用其产品和服务相关的风险和后果以及影响的证据。评价过程的框架应能衡量产品所针对的成果类型，并应考虑到查明和减轻潜在风险的重要性，特别是可能对弱势群体和得不到充分服务的群体产生不同影响的风险。进行最严格的研究（例如，随机对照试验）乍看起来可能令人生畏。如果是这种情况，开发人员可以首先使用不太严格的证据构建形式（例如，相关研究），以描述学生人口统计信息和产品使用如何与观察到的学生成果相关联。随着时间的推移，开发人员可能会进行更严格的评估，以支持关于产品对学生成绩的因果影响的陈述，例如使用随机对照试验或其他严格的证据构建方法。
在做出采用决定时，州、地区和学校通常会考虑支持给定产品或服务的证据在多大程度上有意义地包括他们寻求服务的学生和环境。因此，当建立关于项目或服务与学生成绩的关系或影响的证据时，开发人员应该分解他们的发现，以明确“什么有效，对谁有效，在什么条件下有效”。“为谁”的考虑应解决弱势和历史上服务不足的学生群体;例如，用于数学教学和学习的人工智能产品应通过政策相关的人口统计变量解决国家教育进步评估记录的数学成绩差异类型。

What to Know

2015年，《每个学生成功法案》重新授权ESEA。ESEA鼓励学校和学区决策者选择教育产品，服务和干预措施，这些产品，服务和干预措施已被证明可以通过高质量的研究和评估来提高学生的成绩，或者至少证明它们是有效的。教育部还提供了一份题为《非监管指南：利用证据加强教育投资》的文件，其中包括教育部《一般行政条例》中的证据框架和定义。此外，教育技术办公室还提供了教育技术证据工具包，其中包含单页纸、案例研究和示例等资源。支持AI的工具和平台的开发人员应该知道，教育证据的必要特征在法律中有规定，并在教育领导者做出采用和采购决策时在实践中使用，并在此基础上明确定义其解决方案可以提供的结果以及如何将其作为证据进行衡量。

ESEA定义了四个证据层次，这些证据在国防部的What Works Clearinghouse中进行了总结，如下图4所示。

在这里插入图片描述
早期的开发人员可能会从使用证据（包括科学理论）开始，为他们的产品或服务如何加强学生的学习提供理论依据。美国国家科学、工程和医学院2018年报告《人们如何学习II：学习者、情境和文化》建议评估学习环境以学习者为中心、以知识为中心、以评估为中心和以社区为中心的程度。以下是如何执行此操作的一些示例：

以学习者为中心：支持人工智能的产品如何支持学习者在努力理解新信息时更加积极和协作？
以知识为中心：一个支持AI的产品如何激活学习者的先验知识，并让他们参与到积极加强理解的过程中，比如阐述、解释或批评？
以评估为中心：当学生遇到困难时，一个支持AI的产品如何为他们提供更及时、更相关、更有用的指导和反馈？
以社区为中心：一个支持AI的产品如何支持学生的同龄人、老师和其他社区成员积极支持个人优势和需求的社交互动？

《人们如何学习II》还提供了五种有效的支持学习的策略：

检索练习
间隔练习
交错多样的练习
总结和绘图
解释：精心询问，自我解释和教学

还有许多针对年龄层次或学科领域的额外原则，例如阅读科学，学习数学或追求科学和工程。教育部的教育科学研究所（IES），通过其什么作品信息交换所，提供一般以及通过其一系列实践指南的循证实践领域的具体建议。与致力于目标学校内容的教师专业协会合作，通常也是发现特定领域学习原则的好方法。另一种方法是联系学术社团或协会，寻求与开发人员将追求的领域中活跃的研究人员的联系。

为了磨练他们自己的理由，这可能是基于上述或其他现代学习原则，开发人员可能会寻求来自试点组用户的反馈，以通知设计和开发调整的解决方案，以提高效率。证据应告知如何设计一个狭窄的产品组件（例如，数学用符号和图形表示的方式），并为他们改进学习方法的基本逻辑提供科学依据。基础逻辑有时也被称为“行动理论”，被理解为一组综合机制，这些机制共同导致学生成绩的提高（更多信息请参见参考资料）。

研究人员和开发人员通常遵循通过逻辑模型记录其行动理论的最佳实践。逻辑模型跟踪来自输入的连接（例如，产品或服务提供的）到教学和学习过程（例如，教师和学生在产品的支持下制定）到结果（例如，提高学生在某一学科的成绩）。在逻辑模型中，当开发人员开始强有力的证据之旅时，他们的一个主要关注点应该是定义一个明确的问题，通过强大的根本原因分析，确定一组适当的目标结果，设计可能实现这些结果的产品或功能，并设计流程来衡量这些结果。

在确定他们的产品或服务“证明了使用的合理性”之后，开发人员可能希望考虑如何建立证据证明它是有效的。支持产品或服务有效性声明的证据强度可以从相对较低（第3级或有希望的证据）到相对较高（第1级或强有力的证据）不等。低质量证据（例如，第3层）对有效性的信心较低，仅涉及产品或服务与学生成绩之间的关联或关系。更高质量的证据（例如，第1级）对有效性更有信心，从而得出产品或服务导致学生成绩的结论。

如图4所示，区分低质量证据和高质量证据的主要因素是用于评估产品或服务有效性的研究类型。并非所有开发人员都有设计和进行高质量研究的经验，因此，他们会寻求外部专家的帮助。值得注意的是，即使是有研究能力的开发人员也可能选择与独立评估人员合作，以增加其有效性结果的可信度。

在任何一级成功地建立证据都取决于强有力的深谋远虑和充足的资源。从一开始就以建立高质量证据为目标来设计一个项目或服务，几乎总是比在项目或服务接近完成或最终完成时添加该目标更容易。因此，开发人员应该在设计（或改进）过程的早期咨询评估专家。虽然证据建设可以发生在较低的成本时，深思熟虑地纳入一个新的或重新设计的计划，额外的财政资源支持评估，特别是外部评估，可能需要。多个联邦计划（请参阅参考资料）和一些慈善基金会都提供研究基金。

教育成果的衡量一直是不完善的，一直是该领域改进的重点。教育部的《2023年人工智能报告》包括一个关于形成性评估的部分，该部分强调衡量什么是重要的;具体来说，教育工作者呼吁以更广泛的方式来捕捉学生所知道和能做的事情（例如，与传统的多项选择评估相比）。来自标准化课程结束措施（最终或总结性评估）的证据将继续在评估支持学生学习的政策，系统和实践的有效性方面发挥重要作用。然而，使用其他相关措施（持续或形成性评估）收集的形成性和诊断性证据也为教育工作者、家长和学生提供了有关学习和学业成绩的宝贵信息。这类证据还为所有参与方提供了更快的反馈周期。开发人员可能希望与外部专家合作，以更多地了解如何将他们的愿景与可衡量的结果联系起来，以及如何识别具有强大心理测量质量的措施（例如，高水平的有效性和可靠性）。

证据层次描述了基本原理和影响，但留下了一个额外的证据领域：开发人员如何通过收集数据，分析什么是有效的，什么需要改变，以及指导改进来记录产品中的风险和保障措施。对于许多教育开发人员来说，提供他们如何与学校或地区合作的案例研究来现场试点和测试他们的产品是一种常见的做法。他们可能会使用A/B测试来确定其产品的功能，以支持各种教育环境的需求。

在分担责任方面，教育决策者还重视解决方案开发人员现场测试和改进产品的方法的透明度，以及通过教育技术领域值得信赖的第三方学习组织的评估获得的产品认证。关于持续改进，一些开发人员正在探索如何简化与外部研究人员的接触过程，这些研究人员可以测试对其平台的改进（例如，参见教育科学研究所资助的SEERNet），同时保护隐私和其他考虑因素。例如，开发人员正在与研究人员合作，验证可用于研究学习成果的平台内测量，同时降低数据收集成本。开发人员还可以将接口整合到他们的平台中，使研究人员能够指定如何向学生提供可变资源，同时自动收集数据，而无需研究人员了解开发人员平台代码的细节。开发人员还可以标准化保护学生数据隐私的机制，使研究人员能够在不识别特定学生的情况下进行分析。

最后，当评估涉及“为谁和在什么条件下”时，评估通常对决策者更有价值，因为学校和地区想知道评估结果是否可能推广到他们的人口和环境。由于我们国家的学校和地区的多样性如此动态，一种只在一个州的大都市学区的学生中进行测试的方法可能不会对另一个州的小型农村学校或地区的工作人员和学生起到最佳作用。同样，还出现了其他问题，例如残疾儿童和学生是否被纳入研究人群，对这些学生是否有任何值得注意的差异影响？该产品是对先前表现较低和较高的学生都有效，还是只对表现一般的学生有效？该产品是否适合多语言学习者？关于“为谁服务和在什么条件下服务”，还有许多其他相关问题。开发人员可以有目的地改变他们评估其产品的人群和设置，以积累尊重学习者之间和跨设置的可变性的证据。

这种解决情境和学习者之间差异的方法对于使用人工智能来适应学生优势和需求的产品具有重要意义，因为产品可能会寻求为更多样化的学生服务或在更广泛的条件下发挥作用。人工智能技术避免伤害并为“大多数人”带来“最大的好处”不能被视为理所当然，必须进行专门调查。(An重要和相关的概念出现在以公平为中心的部分;开发人员应该试图展示他们开发AI算法和模型的过程，以尽量减少不公平的偏见。该部承认，研究所有可能的变数既昂贵又耗时。开发人员应该权衡潜在的危害以及风险已经减轻的信心水平。学校应该保护学生免受伤害，例如，关于侵犯学生的公民权利，因此不公平地影响学生广泛的学习和进步机会的算法可能是高风险和高优先级的强有力证据。低风险应用程序的一个例子可能是帮助教师完成日常工作的生产力工具，例如为教师计划的特定活动配置课堂教育技术，并且可以很容易地由教师监督和纠正。同样，高质量的评估研究不仅可以发现一种教育资源是否平均使学生受益，而且还可以发现它是否对学生群体无效。

Questions To Ask

我们的团队如何实现循证依据或第4级，并继续扩大不同人群的证据基础？
我们的产品原理如何建立在现有的关于人们如何有效学习或教学的证据或理论基础上，或与之保持一致，特别是包括历史上服务不足的人群中的学生？
我们如何（包括与哪些合作伙伴）开始收集证据，以证明我们在教育中使用人工智能对各种学生产生积极影响的潜力？
我们如何确保教育决策者能够获得证据和其他信息，以便对使用人工智能应用做出负责任的选择？
我们的长期计划是什么，以产生严格的证据，包括我们的应用程序适用于谁和在什么条件下有效，以及扩大应用程序有效的人群？

Directions to Pursue

开发人员应该询问潜在客户如何在决策过程中使用特定类型的证据，以及“成功会是什么样子”，这不仅仅是要求潜在客户列出相关的地方、州或其他采购要求。
开发人员应该在设计工作的早期寻求与研究人员建立伙伴关系，以便最大限度地利用现代学习原理。开发人员应寻求与教育工作者和用户建立合作伙伴关系，在产品的整个生命周期中进行实地测试。
开发人员应该让那些最受产品影响的人参与收集和解释证据。
开发者不仅要收集功效方面的证据，还要收集与安全、保密、信任等问题相关的证据。
开发人员应该将上面的工作流整理成有说服力的、有生命力的文档，这些文档会定期更新，并公开存放在网上，以提高透明度。

Resources

相关资金来源
- IES小企业创新研究计划
- IES教育研究和特殊教育研究资助计划
- 教育部的教育和创新研究计划
- 国家科学基金会的学习研究部
- 许多慈善机构也为教育工作者，研究人员和开发人员提供资金，共同承担证据责任。比尔和梅林达·盖茨基金会的AIMS合作实验室就是一个例子。
建立证据的方法的资源
- 教育科学资源研究所
  - 逻辑模型研讨会工具包
  - IES教育研究卓越标准
  - IES/国家科学基金会共同指南
  - 教育研究复制和复制的配套指南
  - What Works Clearinghouse Find What Works Guides and Practice Guides
- 教育技术办公室的EdTech Evidence Toolkit
- 美国卫生与公众服务部的快速周期评估
提供证据建设信息的组织
- LearnPlatform
- LeanLab ○ Common Sense
- International Society for Technology in Education（ISTE）
- Digital Promise
- EdTech Evidence Exchange
- 国际教育影响力证据认证

建议3.促进公平保护公民权利

开发人员和教育工作者共同承担促进公平和保护学生公民权利的责任。以公平为中心的开发人员将更好地解决算法歧视的可能性，防止侵犯公民权利，促进所有用户，特别是残疾儿童和学生的可访问性，并缩小设计，使用和访问教育技术的总体差距。

Key Ideas

性别歧视可能导致学习机会、学习资源和支持或学习成果的不公平分配。NIST已经确定了需要考虑和管理的三大类人工智能偏见：系统性，计算性和人类，所有这些都可能在没有偏见，歧视或歧视意图的情况下发生。
教育环境中的公民权利由法律规定，并由教育部民权办公室执行。开发人员应该充分了解适用于教育环境的现有民权法律，并设计符合这些法律的产品。无论AI在多大程度上涉及侵权行为，现有的民权法律都适用。
现有和即将推出的人工智能训练数据集应力求减少偏见，并代表教育用户的多样性。教育工作者已经对这些潜在的问题表达了高度的认识。
包容性和可访问性是人工智能支持多种形式的人类互动并增强人类优势和需求的能力可能特别有益的领域。
数字公平包括关注设计、使用和访问方面的差距。

What to Know

推进公平是一个广泛的概念，但也指出了开发人员在工作中应该集中考虑的一系列更具体的问题。本指南将公民权利4、算法歧视和可访问性命名为具体的公平相关主题，并使用术语“数字公平5”来指出其他问题（即，技术负担能力的公平性），这些技术很重要，但可能不会上升到违反法律的程度。现行法律（包括民权法）是最重要的，适用于人工智能的任何变化导致儿童学习经历的任何歧视的情况。民权法保护学生免受基于受保护特征的歧视6-并适用于上学期间课堂内外的学习体验。

关于人工智能的行政命令指示许多联邦机构单独或跨机构协调推进人工智能公平和公民权利的联系。开发人员应监控机构网站，以及时了解政策指导和其他资源，这些资源由该部门和其他机构（如NIST和美国司法部）提供，与促进公平和保护公民权利有关。

此外，关于人工智能的行政命令指示负责民权司的助理总检察长与所有联邦民权办公室会晤，“讨论全面利用各自的权力和办公室，防止和解决使用自动化系统中的歧视问题”。本次会议于2024年1月10日举行（见宣读）。该部门的民权办公室可以评估和/或调查在教育环境中使用人工智能系统所引起的侵犯公民权利的指控。

Algorithmic Discrimination

同样，贝里斯-哈里斯政府在关于人工智能的行政命令中非常清楚地表明了其对算法歧视的立场：

“我的政府不能也不会容忍使用人工智能来使那些已经经常被剥夺平等机会和正义的人处于不利地位。"

美国科学技术办公室的人工智能权利法案蓝图定义了“算法歧视”，并概述了开发人员应该做的事情，如下所示：

当自动化系统基于种族、肤色、民族、性别（包括怀孕、分娩和相关医疗状况、性别认同、双性状态和性取向）、宗教、年龄、国籍、残疾、退伍军人身份、遗传信息或任何其他受法律保护的分类，导致不公正的不同待遇或影响时，就会发生种族歧视。根据具体情况，这种算法歧视可能会违反法律的保护。自动化系统的设计者、开发者和部署者应采取积极和持续的措施，保护个人和社区免受算法歧视，并以公平的方式使用和设计系统。

开发人员应主动并持续地在教育领域测试人工智能产品或服务，以降低算法歧视的风险。此外，根据研究人员的说法，培训教育工作者正确和不恰当地使用他们的解决方案可能会减轻人工智能特定教育应用（或机器学习的先前使用）中的算法歧视问题。在教育中使用这些数据的算法结果可能会剥夺受保护班级的学生在学习和成就方面的公平机会。

重要的是，总体影响不应是不公平的。这适用于在课程中使用人工智能解决方案，以及任何可用于监控行为，课堂管理或纪律的技术或解决方案。教育工作者有许多与计算机视觉算法相关的具体偏见问题，但也认识到其他形式的输入（如语音识别）也可能存在问题。

该部门指出，算法歧视的可能性将不仅限于做出明显重大决定的应用程序，例如指导学生课程或职业选择，但也可能发生在一系列较小的决定中（例如，在基于技术的课程的节奏或内容中），这些较小决定的综合影响导致学生的学习机会不公平。开发人员可以在构建和训练人工智能的过程中尽早解决这些问题，包括收集代表性数据，关注如何管理数据和如何选择算法，测试偏见等。

关于共同责任，在整个部门的听证会上，教育工作者一直对用于训练人工智能模型的数据集的偏见表示强烈关注，无论是在基础模型还是在调整模型以适应教育应用方面。由于现有的数据集固有地包含历史偏差和遗漏数据集可能不能代表将作为用户参与的受教育人群，因此模型的性能可能会出现偏差。同样，开发人员应该为人工审查创造机会，并加强产品中的功能，以提高人工智能生成的输出或基于人工智能的建议背后的推理的透明度。他们还应该积极主动地为学习者的差异性设计他们的产品，这将在下面讨论。

“同时保持学生的安全和安全，并通过广泛而多样化的数据培训人工智能以获得公平的解决方案，这是这个领域的一个决定性挑战。简单地说“不使用数据”并不能保证所有学生的安全，也不能提供我们知道所有学生都应得的公平访问权。随着这一领域的迅速发展，必须找到深思熟虑的解决方案，以确保安全、问责、公平和有效性。
—— Karl Rectanus，教育科技企业家

虽然存在风险，但早期的研究表明，人工智能可以帮助更好地支持残疾儿童和学生，多语言学习者以及其他长期以来遇到学习障碍的人群，这些人群的资源设计较少适应他们的需求。教育部的《2023年人工智能报告》概述了在教育领域设计、开发和部署人工智能系统的其他关键公平领域，并提供了以下示例：

报告指出，过去教育科技产品中的自适应算法通常更关注缺陷、弱点、错误或差距。虽然解决错误和错误在开发支持AI的工具中很重要，但开发人员应该考虑在开发此类工具时平衡这种方法，采用更加基于资产的设计，部署更多的AI功能，重点关注资产，以建立学生的优势和兴趣，并与可用的社区资源和资产保持一致。
人工智能支持更广泛输入的能力（例如，语音、手势、绘图）和输出（例如，语言之间的翻译、用语言注释图像、自动生成美国手语）可以为残疾儿童和学生提供额外的支持，并且可以在各种学习活动和教学资源以及评估中更均衡地提供支持。
同样，人工智能的新功能可以通过翻译支持和识别伴随教学的文化响应资源来实现对多语言学习者的公平支持。

“我们对人工智能的潜力感到兴奋，它使我们能够更容易地根据学生的语言需求和个人兴趣调整内容。例如，我们一直在现场测试一个基于人工智能的系统，该系统提示学生他们的兴趣，并编写一个符合他们兴趣和他们正在学习的数学主题的单词问题。
—— Steve Ritter博士，卡内基学习创始人兼首席科学家

更一般地说，2023年人工智能报告强调了如何使用人工智能来调整教学资源以适应学习者变化的各个方面;而以前的教育技术服务可能对与开发人员的预期目标人群最相似的学生最有效，开发人员可以寻求使用人工智能来服务学生优势和需求的“长尾”（更广泛的分布）。

Accessibility

当他们寻求支持学习者的变化时，开发人员应该了解并遵循《残疾人教育法》（IDEA，2004年修订）的要求。此外，开发商应审查1973年《康复法》第504条。IDEA强调了教育资源的重要性，这些资源利用了学生的优势，而不仅仅是解决他们的挑战或需求的资源。第504条禁止接受联邦财政援助者基于残疾的歧视。数字无障碍是残疾学生无障碍的一个组成部分。开发人员应该从广义和狭义上寻找支持，将数字可访问性纳入他们的解决方案。

Web内容无障碍指南（WCAG）由万维网联盟（W3C）开发和维护，是一项经批准的ISO标准，并被开发人员视为创建所有用户都可以无限制访问的内容的基准。AI可以使edtech开发人员能够使用更广泛的模式（例如，语音、手势、美国手语等）。纳入这些能力不仅可以帮助特定的学习者群体，而且可以帮助所有学习者。通用学习设计（Universal Design for Learning，UDL）更专注于教育解决方案设计，是一个完善的框架，用于指导工具的设计，“基于对人类学习方式的科学见解，为所有人改进和优化教学和学习”。开发人员可能会发现UDL的三大指导方针是概念化AI如何通过其产品或服务改善学习的良好起点：

Engagement. 以新的交互式格式呈现教育内容可以提高学生的参与度。例如，通过适当的护栏，人工智能可以支持美国或世界历史课程，使学生能够与真实的人的历史访谈互动。
Representation. 经由表示的多个入口点呈现教育内容选项（例如，文本、音频、图形、动画）对学习者有益;在一个简单的例子中，AI可以支持生成更有用的“替代文本”来伴随屏幕阅读器访问的图像，即使人类仍在循环中验证AI生成的替代文本。
Action and Expression. 让学生有更多的机会行动和表达自己，提高学习;在一个基于研究的例子中，学生可以通过参与动画，互动叙事来学习科学，其中AI使情节，人物和对话自适应。

Digital Equity

更广泛地说，教育技术办公室的2022年报告《推进全民数字公平》描述了在获得设备和宽带连接方面存在的差距，这些差距影响了教育机会，但不仅限于获得机会，还包括负担能力和不平等的采用。我们提供了开发人员在开发和部署AI系统时应该注意的潜在陷阱的例子：

访问权限：支持人工智能的应用程序可能首先出现在更富裕的社区，或者相反，资源不足的学校可能依赖更负担得起的人工智能资源而不是人力资源。
可负担性：在更富裕的家庭中，监护人可能能够负担得起最强大版本的高级订阅-特别是如果学生希望在家中使用支持AI的工具。
采用：当社区对这些产品的设计和营销知之甚少或参与程度较低时，或者当其他必要的资源（如教师专业学习和发展以及工具的可访问性）存在差异时，可能会出现社区对有价值的人工智能教育产品缺乏购买。

服务于教育技术利益的开发人员有其他行业可能没有的与股权相关的考虑;他们应该意识到潜在的陷阱以及他们可以采取的公平访问，负担能力和采用的步骤。2024年NETP有关于股权的其他建议，可以为开发商提供有用的指导。具体来说，它讨论了三种类型的差距：

数字使用鸿沟：解决机会，以改善学生如何使用技术，以提高他们的学习，包括技术的动态应用，探索，创造和从事学术内容和知识的批判性分析;并确保学生有公平的机会使用技术进行学习。
数字设计鸿沟：为教育工作者提供机会，以扩大其专业学习，并建设必要的能力，设计技术支持的学习经验，为学生的多样性服务。
数字接入鸿沟：为学生和教育工作者提供平等获得教育技术的机会，包括连接、设备和数字内容。这还包括可访问性和数字健康，安全和公民身份作为数字访问的关键要素。

Questions To Ask

我们如何将公民权利和数字公平与具体的想法联系起来，为我们作为开发人员的工作提供信息，并确保我们遵循适用的联邦法律？
教育领导者在保护公民权利方面的作用与我们的产品或服务有何关系？
我们可以采取哪些措施来审计和消除我们产品中的潜在偏见或算法歧视，特别注意减轻对弱势群体或服务不足群体的影响？
我们如何在我们的产品中利用人工智能来提高可访问性和包容性？
我们的长期战略是什么，从设计到分发和使用，在各个方面都是数字平等的积极力量？

Directions to Pursue

开发人员可以将公平和民权优先事项注入其组织文化，从用于训练算法的底层数据集到UI/UX选择。
开发人员可以建立或改进新平台、增强功能和/或扩展的审查流程/检查表，以确保解决方案性能的广泛代表性。
开发人员可以与组织建立反馈循环机制，并与专家实践者建立关系，以实现公平的学习体验设计。
开发人员可以努力与主流和edtech标准机构保持同步，以及他们正在进行的工作，以解决人工智能产品和服务中的种族主义和其他形式的算法歧视。
开发人员可以参与定期的第三方审查流程，以消除底层数据库、算法甚至UI/UX设计元素中将某些群体排除在公平用户体验之外的偏见。

Resources

NIST正在制定一个识别AI偏差的标准，其中有三种主要的偏差发生方式（系统性，统计/计算和人类），这些方式与减轻偏差的不同焦点（在数据集和模型中，在应用程序开发期间，以及在该领域使用AI应用程序）相交。
CAST的通用学习设计是一个基于研究的框架，可用于指导人工智能的应用，以建立学生的优势。民主与技术中心提供有关公平、民权和人工智能的广泛资源和指导。
文化响应式教学和其他流程设计指南可用于进行公平相关的设计。
领导力会议致力于确保新技术进一步保护公民权利，并致力于解决相关的数字公平问题。学习者可变性导航器是一个工具，用于寻找基于研究的策略，以支持全儿童学习。
一些非营利组织有旨在解决公平问题的设计框架和服务。两个例子是国家公平项目和包容性创新中心。

建议4.确保安全保障

教育领导者和决策者正在寻求开发人员在强有力的计划中建立合作伙伴关系，以解决众所周知的风险并管理更广泛的潜在风险，以便能够为学生，员工和社区安全地实施改善教学和学习的人工智能技术。以安全和安全为中心的开发人员将优先保护学生和教师的数据安全和隐私;开发人员还将承认，现在的风险已经超出了这些众所周知的长期存在的教育技术风险，因此在整个开发和部署过程中进行风险识别，优先级排序和管理。

Key Ideas

开发人员必须了解有关隐私和数据安全的联邦法律和相关指南，例如：
家庭教育权利和隐私法（FERPA）
保护学生权利修正案（PPRA）
儿童在线隐私保护法（COPPA）
儿童互联网保护法（CIPA）

保护隐私和加强网络安全是学校技术领导者在采购、实施、并监控他们教育机构中的技术。
AI教育应用程序的开发人员必须识别和减轻超出隐私和网络安全的风险（见方框E）。
NIST已经制定了一个人工智能风险管理框架，可以指导一个全面和持续的过程来识别，优先考虑和解决风险。

What to Know

隐私和数据安全是edtech的方面，其中已经存在最强的指导方针和护栏。在生成式人工智能广泛应用之前，edtech市场的大多数参与者多年来一直在积极解决隐私和网络安全问题，并将继续需要强有力的保护措施。民主与技术中心报告说，隐私是家长和学生在学校学习时使用edtech的主要问题，特别是对于有个性化教育计划或504计划的学生。

教育领导者致力于采购保护学生，员工和社区的工具。该部门围绕联邦要求和保护学生隐私的最佳实践提供支持。例如，该部门的学生隐私政策办公室（SPPO）根据适用的联邦法律和法规提供保护学生隐私的广泛信息。SPPO的资源包括有关《家庭教育权利和隐私法》和《保护学生权利修正案》的信息，这些法律适用于接受教育部资金的教育机构和机构。教育部的教育技术办公室和隐私技术援助中心（PTAC）主办内容和活动，以支持开发人员保护学生数据。此外，《儿童在线隐私保护法》（COPPA）增加了对13岁以下学生的保护，《儿童互联网保护法》（CIPA）解决了与学校和图书馆有害内容有关的风险。

开发人员必须了解这些法律。开发人员应该意识到，州和协会都为当地教育机构（LEAs）的领导者在解决这些问题时提供领导和指导。举个例子，犹他州教育委员会有一个学生数据隐私团队，专注于支持莱亚保护学生数据的努力。大多数国家都有类似的举措。学校网络联盟（CoSN）是一个支持学校信息技术专业人员的组织，它为教育制定了一个并行的NIST网络安全框架，以帮助分类和理解资源。他们的成员和资源反映了网络安全及其扩展到AI产品和服务的实力，包括与其他学习组织一起开发的准备清单。数据质量运动提供了学生数据隐私和安全政策的广泛覆盖，包括关于州和地方司法管辖区如何超越联邦保护的信息。学生数据隐私联盟（Student Data Privacy Consortium）提供了额外的资源，该联盟汇集了教育技术市场中的组成团体，以设定对学生数据隐私的期望。

“AI不是一块巨石。当开发人员考虑在教育中负责任地设计和使用人工智能工具时，重要的是要考虑人工智能应用的范围，并将其风险缓解策略与每个工具的相对风险相一致。一种策略是让人类参与进来，例如，让教育工作者在最佳时刻参与进来，帮助最大限度地降低风险，最大限度地发挥这些新技术的价值。”
——Teddy Hartman，Pear Deck Learning隐私与信任主管

人工智能在教育环境中的风险超出了众所周知的数据安全和隐私挑战。该部门敦促开发人员迅速开始识别、优先考虑和管理其他风险。考虑以下例子，这些例子使用方框E中的类别，并以公开报道的事件为基础：

在一个释放风险的竞赛的例子中，在教师和学生可以接受使用的任何指导之前，生成式人工智能聊天机器人就已经广泛应用于学校，分散了教育工作者对教学和学习核心功能的管理。
在偏见和公平风险的一个例子中，依赖面部识别算法的考试监考系统被怀疑不公平和不成比例地惩罚非白人学生。
在有害内容风险的一个例子中，学生经常使用工具来创建图像用于他们的学校项目，并且发现生成式AI在给出构建“黑人女孩”图像的查询时会提供负面和有害的刻板印象。
在恶意使用风险的一个例子中，学生被发现在网络欺凌中使用生成AI，例如，构建关于同学的错误和负面叙述或关于同学的错误图像。
在幻觉风险和错误信息风险的一个例子中，生成式人工智能被发现产生描述从未存在过的历史人物的输出，并对数学问题给出错误的答案。
在透明度风险的一个例子中，教育采购官员面临着允许各种人工智能技术进入学校的压力，而在获得足够的信息之前，这些信息将使他们能够做出良好的判断，并提出有关数据源，算法，风险缓解和其他要求的尖锐问题。
在准备不足的用户风险的一个例子中，人类决策者有时会听从算法，这削弱了教育工作者判断在如何支持学生方面的重要作用，并破坏了该部门2023年人工智能报告中的人类参与循环建议。同样，人类决策者有时会从人工智能的输出中吸收偏见，干扰他们自己更好的判断。

减轻人工智能相关风险的一个重要起点是NIST的人工智能风险管理框架。虽然这一框架适用于比教育更广泛的部门，但它可以提供有价值的指导，因为开发人员可以确定和实施更适合教育部门并涵盖所有可识别风险的具体风险缓解方法。参见图6和图7。

关于风险识别，风险可以在多个层面上发生，从危害个人到危害生态系统。此外，根据前面的讨论，支持AI的教育系统将使用来自主要开发人员之外的组织的组件进行开发，因此，在整个产品或服务中使用的组件供应链中可能会出现沿着风险。当一个组件在早期被判断为“安全”，但随后在没有通知组件用户的情况下改变其行为时，供应链漏洞可能会发生;例如，已经观察到基础模型有时会因未知原因而降级，或者在开发人员调整其算法时突然开始出错。关于风险优先次序，《欧洲联盟人工智能法》界定了风险等级。目前，美国还没有类似的教育风险水平的官方定义;然而，开发人员开始在其应用程序中索引特定的风险，并制定有针对性的缓解策略。该部门敦促开发人员在自己的组织中工作，并与教育工作者分担责任，考虑如何识别和优先考虑风险。

“我们的团队在设计支持AI的数学辅导产品时，制定了一份详细的潜在风险清单。然后，我们对风险进行了优先排序，并制定了应对措施。我们希望教育工作者向我们询问这些具体的风险，我们也欢迎他们就我们如何解决这些风险提出反馈意见。”
—— Kristen DiCerbo，可汗学院首席学习官

图6：NIST人工智能风险管理框架中描述的伤害类别

在NIST的领导下，该部门建议开发人员采取生命周期方法来管理这些和其他必须识别的风险（图7）。生命周期风险管理框架的四个方面是：

政府：在每个edtech开发人员组织中培养风险管理文化，例如，确保产品开发的每个阶段或组件的开发人员都意识到潜在的风险，他们识别产品特定风险的责任，以及如何与产品经理合作以减轻风险。
地图：认识到学校环境的特点和挑战，并确定在这些情况下出现的具体风险。开发人员可以在本文档中查看学校环境中出现的特定类型风险的示例，以及他们在与未成年人和学生合作时的特殊责任和义务。
测量：记录、分析和跟踪风险，不仅要在产品开发过程中，还要在产品在教室或其他教育环境中进行现场测试以及更广泛地分发和使用时。例如，开发人员可以应用基于研究的方法来衡量偏见;该部门的2023年人工智能报告包括关于教育心理测量学技术如何有助于确保人工智能教育资源或评估的公平性的广泛讨论。
管理：优先考虑风险并采取行动保护学生，教师和教育社区。在整个倾听会议中，该部了解到开发组织在开发过程的早期、在构建每个产品功能或组件的过程中以及在产品发布后对风险进行优先级排序。

图7：NIST AI风险管理框架概述

教育工作者希望开发人员分担管理风险的责任。一方面，州指导资源（如上文方框C中提到的）指导学区管理、绘制、测量和管理风险。另一方面，学校对人工智能的风险管理能力可能有限，因此，开发人员或公众已知的风险可以由最接近教学和学习的人管理的假设不太可能得到证实。教育机构将需要与开发人员合作，以帮助他们管理风险。在解决方案提供商和学校最终用户之间的客户服务协议中实施的共享风险管理措施可以提供附加值，不仅符合道德规范，而且还通过精心关注和全面，定期更新的文档来促进信任，以减轻任何已知或未知的潜在风险。例如，PTAC提供了关于制定服务条款模型的资源。

Questions to Ask

我们从教育工作者那里听到的关于我们产品或类似产品的最重要的安全和安全问题是什么？
适用的联邦、州和地方法律和指南（例如白宫的人工智能权利法案蓝图）如何适用于我们的产品或服务？
哪些特定的隐私、安全或其他安全风险与我们的产品和弱势群体最相关，我们如何减轻这些风险？
我们的组织如何系统地治理、映射、衡量和管理隐私和安全之外的人工智能风险？
在我们的组织中，什么样的整体风险管理策略会提高我们在提供支持AI的教育技术方面的声誉，并为隐私、安全和安全提供最强的保护？

Directions to Pursue

开发人员应该起草关于组织如何保护学生数据安全和隐私的清晰明了的语言披露。
开发人员应通过审计或其他程序来加强问责制，以检查和测试保护措施，并从最终用户那里获得有关风险的反馈，特别关注弱势和服务不足的人群。
开发人员应跨产品线或与其他公司合作，阐明共同的标准或方法，以解决包含人工智能的教育产品和服务中的风险，不仅在组织内部，而且在上游供应商和下游消费者中创建解决风险问题的方法。
开发人员应该培养公众、用户和监管机构如何看待与人工智能教育产品和服务相关的风险水平的意识，并在产品中出现值得注意的风险时做出回应。
开发人员应优先关注联邦政府、州和地方政府中与人工智能相关的快速发展的立法和其他治理活动。
开发人员应该考虑解决州和联邦政策之间的相互作用。在出版时，更多的州正在制定和发布人工智能政策。

Resources

国家科学技术理事会推进隐私保护数据共享和分析的国家战略。
Cyber and Information Security Agency的Secure by Design Framework
Software and Information Industry Association关于开发支持AI的edtech产品的原则
Data Quality Campaign关于保护学生隐私的资源
CoSN的NIST Cybersecurity Alliance for K-12* 民主与技术中心的额外资源。

在国际上工作的开发人员也可能希望考虑欧盟AI法案的教育风险后果水平;更一般地说，跟上全球的发展可能很重要。一个有用的例子是苏黎世州关于人工智能教育的法律的最佳实践。

建议5.提高透明度和赢得信任

作为教育市场的一种合理的商业方法，开发人员与教育工作者、学生和生态系统中的其他人就人工智能进行双向沟通，包括提高人工智能在教育应用程序中实施的透明度，解决问题，并共同努力扩大共同责任的力量。

Key Ideas

透明度有助于信任。
“可信赖的系统”是研究和开发的一个重要技术领域（例如，NIST AI风险管理框架），而信任是创建AI教育系统的人与使用这些系统的人之间的相互信任关系。
开发人员可以通过促进教育工作者、家长和护理人员、学生和其他成员的人工智能素养来增加信任;相反，如果没有强大的人工智能素养，开发人员的保证可能无法赢得信任。
为了保持信任，开发人员应该倾向于在他们的团队中进行道德培训。

What to Know

参加该部门听证会的开发人员查看了本指南中先前提到的所有四项建议（即，设计教育，证据，公平和公民权利，以及安全和保障），这对于在他们所服务的教育市场和社区中建立信任至关重要。另一种表示这种多因素方法的方法是NIST对可信AI系统特征的分析。请参见图8。

“学校应该得到专门为学习而构建的人工智能解决方案。这意味着解决方案必须坚持最高级别的安全性，隐私性和安全性，模型具有抗幻觉性，并接受过审查的教育特定内容的培训。这就是为什么我们专门为教育构建人工智能模型。"
—— Latha Ramanan，Merlyn Mind负责人

在这里插入图片描述
本署鼓励发展商出席双方以信任作为双方的互信（例如，edtech的开发者和采用者之间的关系）和可信度作为技术系统的可确定属性（如上图所示）。

一个基于人工智能支持“隐形评估”潜力的例子可能会澄清透明度和信任关系的重要性。在其最初的含义中，“隐形”是“不引人注目”的同义词，旨在为学生提供真实和支持性的反馈，同时保持学生对学习的高度参与9。然而，“隐形”也可能意味着监视–学生可能在他们不知情的情况下被无形地测量，对他们的学习没有直接和明显的好处。关于最初的含义，学生和教师希望减少从学习测试中花费的时间，因此可能会欣赏不引人注目的评估，特别是当输出如何立即和直接帮助教师和学生时。然而，关于第二种含义，教师、学生和家长可能会担心，如果敏感的学习数据在他们不知情的情况下在课堂之外共享，这可能会对学生的表现、福祉和未来的机会产生不可预见的后果。清楚地传达不引人注目的数据收集的目的和限制，以及让教师和学生参与有意义的数据使用，可以在信任方面产生差异。

由于信任的关系性质，开发人员如何与其他生态系统参与者进行沟通也有助于赢得信任。开发人员在倾听会议中提出的例子包括：

透明度和信息披露增强了信任。
信任需要有效的倾听和分享。
通过揭开人工智能为什么、如何以及使用什么的神秘面纱来增强信任。
当开发人员、教育工作者和研究人员（以及其他人）在反馈回路中共同努力，发现问题并解决问题时，信任就会增加。
当开发商积极参与促进公共利益的论坛时，信任会得到加强。

一些edtech开发人员已经发布了自愿承诺或自愿披露，说明他们在开发和改进产品时如何降低人工智能的风险（见方框F）。

该部门还指出，开发人员已经参与了公共论坛和倡议，通过开发人员，教育工作者，研究人员，政策制定者，资助者等的共同贡献，正在开展安全，可靠和值得信赖的人工智能工作。方框D列出了积极创建此类论坛的非营利组织名单。这些论坛是开发商可以通过参与制定进一步的指导方针和护栏来为公共利益做出贡献的地方。

事实上，该部认为自愿承诺、自愿披露和参与论坛是阐明“双重堆栈”方法的第一步，在这种方法中，开发人员拥有同样强大的协调系统，以确保责任和实现创新。透明度始于承诺，但应该超越承诺，还应该讨论教育技术组织如何编排他们的开发流程，从产品概念到交付，从基础模型到教育应用。

透明度包括参与各种论坛，但不应仅限于分享信息，而应随着时间的推移共同努力建立信任。该部门鼓励开发人员采取行动，相信一个健康的生态系统不仅要求他们加强竞争性创新，而且还要求他们做出贡献，促进公众对人工智能在教育中安全应用的广泛兴趣。

此外，开发值得信赖的edtech可能需要开发人员团队接受人工智能道德，公平和相关问题的培训。计算机协会积极为人工智能和其他新兴技术制定道德原则，其道德准则专门用于塑造软件开发人员的工作。当开发人员意识到道德原则并公开讨论他们如何在工作中应用这些原则时，信任就会得到加强。

例如，关于透明度，LLM对开发人员和用户来说是黑盒子。此外，竞争因素可能会压倒透明沟通的愿望和最佳意图，例如关于训练数据的来源。然而，聆听会议的与会者鼓励该部呼吁明确的期望：开发人员和教育工作者相互需要一个明确的意义上可以预期在教学和学习的改进。以下是一些示例：

开发人员可以提供机会与他们的产品或服务进行交互，并在教育者购买或广泛使用之前对其进行深入探索。
开发人员可以围绕安全有效使用其产品或服务所需的角色和责任提供强有力的培训和专业发展。
开发人员可以提供服务保证，以快速响应和缓解出现的任何问题，包括覆盖产品或服务中不符合预期的方面的机会。

明确的期望，加上开发人员和教育工作者之间强大的反馈循环，不仅可以实现这些期望，而且还可以超越它们。例如，在教育技术行业已经存在的一个高质量实践中，客户成功经理支持教育工作者在该领域的忠实使用，信任得到加强，解决方案提供商建立了一个强大的反馈循环，用于通知解决方案的增强和更新-希望比设计师和开发人员试图在真空中创新的迭代更少。因此，在倾听会议中与开发人员的对话导致了对如何通过透明度取得进展的理解，在方框H中突出显示。

方框H：能够赢得信任的分担责任和透明度的循环。
与开发人员的对话导致阐明了这种可重复的步骤循环，可以增加信任：

共同责任始于调整对人工智能在教育环境中可以提供什么的期望，以负责任地描述实现共同的教育愿景，而不会大肆宣传或忽视潜在风险。
开发人员和教育工作者之间可以进一步提高透明度，因为他们密切合作，以解决道德问题，评估证据，保护公民权利，解决公平问题，并管理与创新相关的特定风险。
当开发人员参与关注安全人工智能公共利益的论坛时，共同责任也会增加，开发人员可以分享规范，标准和价值观，如果广泛采用，可以使人工智能对所有生态系统参与者更安全。
在人工智能驱动的产品体验和围绕负责任的人工智能的公共贡献方面超越预期，与客户建立牢固的关系。
围绕有意义的教育价值和共同风险管理的牢固关系带来信任。

追求这种良性循环是有意义的，但能力可能受到非开发人员群体的AI素养水平的限制。目前，教育部门的人工智能素养水平差异很大，开发人员也可以通过加强人工智能素养发挥重要而积极的作用。帮助教育工作者的关键领域包括解释基本的数据治理概念和技能，以及它们如何与AI特定的术语和功能相关。开发人员揭开了他们对人工智能的使用，并为用户提供了一个关于人工智能如何在他们的教育系统中工作的可访问概念，这表明了他们对用户的尊重，并有助于人类机构的发展，因为人们在教育中采用人工智能工具，这反过来又会发展对解决方案提供商的信任。许多学习型组织已经进入该领域，专注于准备该领域，开发人员可以学习并支持这些举措，以实现互利。

Questions To Ask

我们如何在与客户互动的同时，平衡地关注我们的创新和责任？
NIST人工智能风险管理框架如何帮助我们的团队开发值得信赖的人工智能系统？
在产品和服务中使用人工智能方面，我们可以采取哪些措施来提高透明度？
我们的组织如何在更广泛的教育技术生态系统中为人工智能素养做出贡献？
我们的长期计划是什么，以实现我们对人工智能的负责任使用，以支持我们的产品和服务对学生，教师和其他教育人员的整体价值？

Directions to Pursue

开发人员应该努力提高透明度。
开发人员可以通过突出责任和创新的双重堆栈来展示可以在营销中解决的承诺。
开发人员可以更公开地分享书面承诺和披露，但在产品开发和改进过程中，也应该强调与教育工作者的双向沟通和合作。
开发人员应该支持在生态系统中建立AI素养的努力。
开发人员可以考虑如何公开描述其产品和服务中实现的可信系统架构的特征。一些特征，如可解释性，可能很难在短期内实现，但相关的概念，如可解释性，现在可能是可能的，而研究和开发继续。

Resources

Trustworthy artificial intelligence (AI) in education: Promises and challenges | OECD Education Working Papers | OECD iLibrary
Common Sense Media’s AI Initiative
Trust The Process: How To Choose and Use EdTech That Actually Works - EdTech Evidence Exchange
Building trust in EdTech: Lessons from FinTech
The Association for Computing Machinery’s Code of Ethics

Conclusion

教育决策者对利用人工智能新功能的新产品和服务表示谨慎乐观。正如本指南所指出的那样，教育工作者看到了利用人工智能实现教育机构愿景的大量机会，但他们必须充分了解必须解决的风险。因此，教育决策者强调关注重要机会和采取有力、明确的步骤应对风险的双重性。这种双重性为今天的教育开发者塑造了市场机会。

“我会买一个生成AI产品吗？是的，我会的但我今天还没有准备好采用，因为访问公平、数据隐私、模型偏见、安全性、安全性以及缺乏明确的研究基础和有效性证据等问题尚未解决。"
—— Patrick Gittisriboongul, ED.D，助理监督林伍德联合学区，加州

通过将众多的机会和关注领域组织成五个主题，该部门旨在提高开发人员对持久重要性主题的关注：

设计教育
提供理由和影响的证据
促进公平和保护公民权利
安全与保障
提高透明度和赢得信任

随着开发人员在教育领域推出新的人工智能应用，“赢得公众信任”至关重要。该部门设想了一个健康的教育技术生态系统，强调提供者，评估或推荐者以及在教育环境中采购和使用技术的人之间的相互信任。该部门发现，电动自行车的类比是整个生态系统讨论的一个很好的起点，在该部门的2023年人工智能报告中提供：教师和学生应该控制，因为他们使用人工智能的能力来加强教学。就像骑自行车的人控制方向和速度，但在电动自行车传动系统的帮助下保存能量一样，当技术放大他们的选择和行动时，教育参与者也应该保持控制，并能够将节省的能量和时间用于最有影响力的互动和活动。现在，继续类比，开发人员应该采取预防措施，设计支持AI的教育系统，以确保安全，保障并赢得公众的信任，就像骑手希望电动自行车开发人员确保骑手的安全和保障，并赢得公众的信任一样。

在这里插入图片描述