通用人工智能治理：欧盟《人工智能法案》作出最新回应—

2023年12月8日，经过36小时谈判，欧洲议会和欧洲理事会就《人工智能法案》（AI Act，以下简称法案）达成初步协议，意图在人工智能新技术治理领域重现布鲁塞尔效应，建立全球首个人工智能发展扶持和风险防范的协调监管制度，打造安全可信的人工智能时代。本文尝试结合已公开披露的部分内容，对法案进行简要解读。

根据欧洲理事会官网发布的新闻，^[1]与欧盟委员会最初的提案相比，法案沿用“基于风险”（risk-based）的规制框架，本次达成的初步协议的创新之处主要体现于以下几个方面：1.增加对未来可能导致系统性风险的高影响通用人工智能模型以及高风险人工智能系统的规定；2.修订后的欧盟治理体系，赋予欧盟一部分执法权；3.扩大禁止清单，但执法当局可在遵守保障措施的前提下于公共场所使用远距离生物鉴别技术；4.要求高风险人工智能系统的部署者在投入使用前进行基本权利影响评估，从而更好地保护权利。

图源：欧洲理事会官网

其中值得注意的是，本次协议新增加对广受关注的生成式人工智能等通用人工智能的有关规定。欧盟委员会于2022年12月6日通过的法案总体思路版中第3条（1b）对通用人工智能系统（General-purpose AI，GPAI)定义及范围作出解释：“通用人工智能系统”是指提供商无论以何种方式投放市场或投入使用（包括作为开源软件）都打算执行通常适用的功能的人工智能系统，例如图像和语音识别、音频和视频生成、模式检测、问题回答、翻译等；通用人工智能系统可用于多种情境，并可集成到其他多个人工智能系统中。本次会议在此基础上明确通用人工智能系统的透明度义务，必须遵守“披露生成内容来源、设计模型以防止其生成非法内容以及发布训练数据的版权保护情况摘要”等要求^[2]：

此外，欧盟委员会12月14日发布《人工智能法案》问答^[3]，在原有四级风险标准之外，对通用人工智能的系统性风险标准进行明确和回应。其中指出“以OpenAI的GPT-4和Google DeepMind的Gemini作为捕捉对象，目前认为使用总计计算能力超过10^25 FLOPs训练的通用人工智能模型被认为具有系统性风险（systemic risk），因为使用更大计算能力训练的模型往往更强大。”而具有系统性风险的模型的提供者需要承担更多义务，进行风险评估和减轻风险，报告严重事件，进行尖端测试和模型评估，确保网络安全，并提供其模型的能源消耗信息，进一步厘清通用人工智能的特殊风险及基于风险区分义务的治理思路。

图源：欧盟委员会官网

自2021年4月欧盟委员会提交人工智能法案提案以来，法案制定一直按照时间线有序进行。2022年12月6日，欧洲理事会就该文件的一般方法（谈判任务）达成协议，并在2023年6月中旬与欧洲议会进行机构间会谈（“三方会谈”），本次会议达成的初步协议本尚未公开，目前披露的法案最新版本仍为欧洲理事会同意的版本^[4]，未来几周将继续进行技术层面的工作，以最终确定新法规的细节。

图源：欧盟委员会官网^[5]

欧盟《人工智能法案》的风险分层治理思路以及技术和制度的良性互动为我国解决人工只能技术发展的法律问题提供借鉴和思考。未来已经到来，而过去真的过去了嘛？我们仍需在与既有制度的协调和不同法益的平衡中探索新型技术的治理之路。

下附机器翻译和作者整合的最新版《人工智能法案》（原文地址：https://data.consilium.europa.eu/doc/document/ST-14954-2022-INIT/en/pdf），仅供交流学习。

欧盟《人工智能法案》

（正文部分中译本）

欧洲理事会2022年12月6日同意版

第一章一般规定

第1条

主题

本条例规定：

(a) 关于在联盟内投放市场、投入使用和使用人工智能系统的协调规则；

(a) 禁止某些人工智能使用；

(b) 高风险AI系统的特定要求和此类系统运营商的义务；

(d) 市场监测、市场监管和治理规则；

(e) 支持创新的措施。

第2条

范围

1. 本条例适用于：

(a) 在联盟内投放市场或投入使用AI系统的提供商，无论这些提供商是否在联盟内或第三国境内设有实体或成立；

(b) 在联盟内实际存在或成立的AI系统用户；

(d) AI系统的进口商和分销商；

(e) 与其产品一起投放市场或投入使用的AI系统制造商，并以其自己的名称或商标进行销售；

(f) 在联盟内成立的提供商的授权代表；

2. 对于根据附件二第B节列出的与联盟协调立法相关的产品分类为高风险AI系统的，仅适用本条例第84条。第53条仅在将本条例对高风险AI系统的要求纳入该联盟协调立法时适用。

3. 如果AI系统投放市场、投入使用或使用（无论是否对其进行修改）的目的超出了联盟法律的范围，且无论如何涉及军事、国防或国家安全活动，本条例不适用，无论从事这些活动的实体类型如何。此外，本条例不适用于未在联盟内投放市场或投入使用的AI系统，只要其输出在联盟内用于超出联盟法律范围的活动，且无论如何涉及军事、国防或国家安全活动，无论从事这些活动的实体类型如何。

4. 本条例不适用于第三国的公共当局，也不适用于根据第1款属于本条例范围的国际组织，如果这些当局或组织在与联盟或一个或多个成员国之间的国际执法和司法合作框架内使用AI系统。

5. 本条例不影响欧洲议会和理事会2000/31/EC指令第II章第4节关于中介服务提供者责任的规定的适用[将被《数字服务法案》的相应规定取代]。

6. 本条例不适用于专门为科学研究和开发目的开发并投入使用的AI系统，包括其输出。

7. 本条例不适用于与AI系统相关的任何研究和开发活动。

8. 本条例不适用于自然人用户在纯个人非专业活动中使用AI系统的义务，但第52条除外。

31 2000年6月8日欧洲议会和理事会2000/31/EC指令关于信息社会服务的某些法律方面，特别是内部市场的电子商务（“电子商务指令”）（OJ L 178，2000年7月17日，第1页）。

第3条

定义

为了本条例的目的，适用以下定义：

(1) “人工智能系统”（AI系统）是指旨在具有自主元素的系统，该系统根据机器和/或人类提供的数据和输入，通过机器学习和/或基于逻辑和知识的方法推断如何实现给定的目标，并产生系统生成的输出，如内容（生成性AI系统）、预测、建议或决策，影响与其互动的环境；

(1a) “AI系统的生命周期”是指从设计到退役的AI系统的持续时间。在不损害市场监管机构的权力的情况下，退役可能在市场监管阶段的任何时间点发生，由提供商决定，这意味着该系统可能不再使用。 AI系统的生命周期也可以通过提供商或其他自然人或法人对AI系统进行重大修改而结束，在这种情况下，经过重大修改的AI系统应被视为新的AI系统。

(1b) “通用目的AI系统”是指提供商无论以何种方式投放市场或投入使用（包括作为开源软件）都打算执行通常适用的功能的AI系统，例如图像和语音识别、音频和视频生成、模式检测、问题回答、翻译等；通用目的AI系统可用于多种情境，并可集成到其他多个AI系统中；

(2) “提供商”是指自然人或法人、公共当局、机构或其他组织，开发AI系统或拥有AI系统开发并以其自己的名称或商标投放市场或投入使用，无论是否收费；

(3) [已删除]；

(3a) “中小企业”（SMEs）是指委员会建议2003/361/EC附件中关于微型、小型和中型企业定义的所定义的企业；

(4) “用户”是指任何自然人或法人，包括公共当局、机构或其他组织，在该组织的授权下使用系统；

(5) “授权代表”是指在联盟内实际存在或成立的任何自然人或法人，已收到并接受AI系统提供商的书面授权，分别代表其履行本条例规定的义务和程序；

(5a) “产品制造商”是指附件二所列的任何联盟协调法规的含义内的制造商；

(6) “进口商”是指在联盟内实际存在或成立的任何自然人或法人，其投放市场的产品上标有联盟外自然人或法人的名称或商标；

(7) “分销商”是指供应链中的任何自然人或法人，除了提供商或进口商之外，使AI系统在联盟市场上可用；

(8) “运营商”是指提供商、产品制造商、用户、授权代表、进口商或分销商；

(9) “投放市场”是指首次在联盟市场上提供AI系统；

(10) “在市场上提供”是指在商业活动中向联盟市场供应AI系统以供分销或使用，无论是否以付款或免费提供；

(11) “投入使用”是指直接向用户供应AI系统以首次使用，或用于在联盟内为其预期目的的自身使用；

(12) “预期目的”是指提供商预期的AI系统的用途，包括使用的具体环境和条件，如提供商在《使用说明》、促销或销售材料和声明以及技术文件中提供的信息所述；

(13) “可预见的滥用”是指以与预期目的不符的方式使用AI系统，但这可能是由于人类行为或与其他系统的互动在可预见范围内导致的；

(14) “产品或系统的安全组件”是指产品或系统的一个组件，该组件为该产品或系统提供安全功能，或者其故障或故障危及人员或财产的健康和安全；

(15) “使用说明”是指提供商为向用户提供有关AI系统的预期目的和正确使用的信息而提供的信息；

(16) “AI系统的召回”是指旨在实现将AI系统退回给提供商或使其停止使用或禁用向用户提供的AI系统的任何措施；

(17) “AI系统的撤回”是指旨在防止供应链中的AI系统在市场上提供的任何措施；

(18) “AI系统的性能”是指AI系统实现其预期目的的能力；

(19) “符合性评估”是指验证本条例第三章第2节关于高风险AI系统的要求是否得到满足的过程；

(20) “通知机构”是指负责建立和执行评估、指定和通知合格评定机构的必要程序及其监测的国家机构；

(21) “合格评定机构”是指执行第三方合格评定活动（包括测试、认证和检验）的机构；

(22) “指定机构”是指根据本法规和其他相关的欧盟协调法规被指定的合格评定机构；

(23) “重大修改”是指在AI系统投放市场或投入使用后进行的更改，这些更改影响到AI系统符合本法规第三标题第二章或第四章4b条款以及其他适用的欧盟法规（“欧盟协调法规”）所规定的要求，或者对AI系统的预期目的进行修改。对于在投放市场或投入使用后继续学习的高风险AI系统，如果提供商在初始合格评定时预先确定了对高风险AI系统及其性能的更改，并且这些更改包含在附件四第2(f)点所指的技术文件中，那么这些更改不应被视为重大修改。

(24) “CE符合性标志”（CE标志）是指提供商表示AI系统符合本法规第三标题第二章或第四章4b条款以及协调产品市场条件的其他适用的欧盟法规（“欧盟协调法规”）所规定的要求，并提供其贴附的标志；

(25) “售后监测系统”是指AI系统提供商为收集和审查他们投放市场或投入使用的AI系统的使用经验而进行的所有活动，以确定是否需要立即采取任何必要的纠正或预防措施；

(26) “市场监管机构”是指根据（EU）2019/1020法规执行活动和采取措施的国家机构；

(27) “协调标准”是指欧盟法规（EU）第1025/2012号法规第2(1)(c)条所定义的欧洲标准；

(28) “通用规范”是指欧盟法规（EU）第1025/2012号法规第2.4条所定义的一套技术规范，为遵守本法规规定的某些要求提供手段；

(29) “训练数据”是指用于通过拟合其可学习参数来训练AI系统的数据；

(30) “验证数据”是指用于评估训练好的AI系统并调整其不可学习参数及其学习过程的数据，以防止过拟合等问题；验证数据集可以是单独的数据集，也可以是训练数据集的一部分，可以是固定的或可变的分割；

(31) “测试数据”是指用于为在投放市场或投入使用前确认训练和验证的AI系统的预期性能提供独立评估的数据；

(32) “输入数据”是指基于此提供给或直接获取到AI系统的数据，系统根据这些数据产生输出；

(33) “生物识别数据”是指与自然人的物理、生理或行为特征相关的个人数据，如面部图像或指纹数据；

(34) “情感识别系统”是指基于自然人的生物识别数据识别或推断其心理状态、情感或意图的AI系统；

(35) “生物识别分类系统”是指基于自然人的生物识别数据将其分配到特定类别的AI系统；

(36) “远程生物识别识别系统”是指通常在远程、无需其积极参与的情况下，通过将一个人的生物识别数据与参考数据存储库中包含的生物识别数据进行比较来识别自然人的AI系统；

(37) “实时远程生物识别识别系统”是指捕捉生物识别数据、比较和识别都瞬间或近乎瞬间发生的远程生物识别识别系统；

(38) [已删除]

(39) “公共可访问空间”是指任何公共或私人拥有的物理空间，对不确定数量的自然人开放，无论是否预先设定了访问的条件或情况，且不考虑潜在的容量限制；

(40) “执法机构”是指：

(a) 负责预防、调查、侦测或起诉犯罪行为或执行刑事处罚（包括防范和预防对公共安全的威胁）的公共机构；或

(b) 根据成员国法律被授权行使公共权力和公共职能，以预防、调查、侦测或起诉犯罪行为或执行刑事处罚（包括防范和预防对公共安全的威胁）为目的的任何其他机构或实体；

(41) “执法”是指执法机构或代表其为预防、调查、侦测或起诉犯罪行为或执行刑事处罚（包括防范和预防对公共安全的威胁）而进行的活动；

(42) [已删除]

(43) “国家主管机构”是指以下任何机构：通知机构和市场监管机构。关于欧盟机构、机构、办事处和机构使用的AI系统，欧洲数据保护监察员应履行成员国委托给国家主管机构的责任，并且在此法规中，关于国家主管机构或市场监管机构的任何引用应理解为指欧洲数据保护监察员；

(44) “严重事件”是指任何AI系统的事件或故障，直接或间接导致以下任何情况：

(a) 人员死亡或严重损害健康；

(b) 关键基础设施的管理和运营遭受严重且不可逆的破坏；

(d) 财产或环境受到严重损害。

(45) “关键基础设施”是指为提供在……指令第2(4)和(5)条意义上对维护关键实体的至关重要的社会功能或经济活动必不可少的服务所需的资产、系统或其部分；

(46) “个人数据”是指（EU）2016/679法规第4(1)点所定义的数据；

(47) “非个人数据”是指（EU）2016/679法规第4(1)点所定义的非个人数据；

(48) “现实环境中的测试”是指在实验室或模拟环境之外，为收集可靠和强大的数据并评估和验证AI系统符合本法规要求的目的，对AI系统进行临时测试；在满足第53条或第54a条规定的所有条件的情况下，现实环境中的测试不应被视为在市场上投放AI系统或投入使用；

(49) “现实环境测试计划”是指描述现实环境测试的目标、方法、地理范围、人口和时间范围、监测、组织和实施的文件；

(50) 在现实环境测试中，“受试者”是指参与现实环境测试的自然人；

(51) “知情同意”是指在受试者被告知与参与特定现实环境测试相关的所有方面后，自愿表示愿意参加的表达；对于未成年人和无行为能力的人，知情同意应由其法定代表给予；

(52) “AI监管沙盒”是指国家主管机构设立的具体框架，为AI系统提供商或潜在提供商提供在监管监督下按照特定计划有限时间内开发、培训、验证和测试（在适当的情况下，在现实环境中）创新AI系统的可能性。

第4条

实施行为

为确保在第3(1)条所指的机器学习方法和基于逻辑和知识的方法的实施方面具有统一的条件，委员会可以采取实施行为来明确这些方法的技术要素，同时考虑市场和技术发展。这些实施行为应根据第74(2)条所指的审查程序予以通过。

第一A章通用目的AI系统

第4a条

通用目的AI系统符合本法规

1. 在不妨碍本法规第5、52、53和69条的情况下，通用目的AI系统仅需符合第4b条规定的要求和义务。

2. 这些要求和义务适用于通用目的AI系统作为预训练模型投放市场或投入使用，以及用户对模型进行进一步微调的情况。

第4b条

通用目的AI系统的要求和提供商的义务

1. 可能作为第6条所指的高风险AI系统或高风险AI系统的组成部分使用的通用目的AI系统，应自委员会根据第74(2)条规定的审查程序通过的实施行为生效之日起，符合本法规第三章第二节规定的要求。这些实施行为应明确并根据通用目的AI系统的特点、技术可行性、AI价值链的具体性以及市场和技术发展情况，调整适用于通用目的AI系统的第三章第二节的要求。在满足这些要求时，应考虑公认的最新技术。

2. 自实施行为生效之日起，第1款所指的通用目的AI系统提供商应遵守第16aa、16e、16f、16g、16i、16j、25、48和61条规定的义务。

3. 为符合第16e条规定的义务，提供商应遵循附录六第3和第4点所列的基于内部控制的符合性评估程序。

4. 提供商应保存第11条所指的技术文件，以供国家主管部门在通用目的AI系统投放欧盟市场或在欧盟投入使用后的十年内使用。

第4c条

4b的例外情况

1. 如果提供商在通用目的AI系统的使用说明或随附信息中明确排除了所有高风险用途，第4b条不适用。

2. 这种排除应出于善意，并且如果提供商有充分理由认为系统可能被滥用，则不应视为合理。

3. 当提供商发现或被告知市场滥用时，他们应采取一切必要和相称的措施防止进一步滥用，特别是考虑滥用的规模和相关风险的严重性。

第二章禁止的人工智能实践

第5条

1. 以下人工智能实践应被禁止：

(a) 将采用超出个人意识的潜意识技术，旨在或可能导致对个人造成身体或心理伤害的AI系统投放市场、投入使用或使用；

(b) 将利用特定群体因年龄、残疾或特定社会或经济状况而具有的弱点，旨在或可能导致对属于该群体的个人的行为产生重大扭曲，从而对个人或他人造成身体或心理伤害的AI系统投放市场、投入使用或使用；

(i) 在与数据最初生成或收集无关的社会环境中，对某些自然人或群体进行不利或不公平对待；

(ii) 对某些自然人或群体进行不利或不公平对待，这种待遇是不合理或与其社交行为或其严重性不成比例的；

(d) 执法机构或代表他们在公共场所使用“实时”远程生物识别系统，除非在以下目的之一的情况下严格必要：

(i) 有针对性地寻找特定潜在犯罪受害者；

(ii) 防止对关键基础设施、生命、健康或自然人的身体安全造成具体和重大威胁，或防止恐怖袭击；

(iii) 为进行刑事调查、起诉或执行刑事处罚，根据2002/584/JHA理事会框架决定第2(2)条的规定，对在相关成员国可处以监禁或拘留命令的犯罪行为进行定位或识别，或在相关成员国可处以监禁或拘留命令的特定犯罪行为，最高可判处至少三年的监禁或拘留，或根据相关成员国的法律，最高可判处至少五年的监禁或拘留。

2. 在公共场所使用“实时”远程生物识别系统进行执法的任何目的，都应考虑以下要素：

(a) 导致可能使用的情况的性质，特别是如果没有使用该系统，造成的损害的严重性、可能性和规模；

(b) 使用该系统对所有相关人员的权利和自由的影响，特别是这些影响的严重性、可能性和规模。

此外，在公共场所使用“实时”远程生物识别系统进行执法的任何目的，都应遵守与使用有关的必要和相称的保障和条件，特别是关于时间、地理和个人限制。

3. 关于第1段(d)点和第2段，每个在公共场所使用“实时”远程生物识别系统进行执法的目的，都应事先获得司法当局或独立行政当局的授权，该授权是根据在相关成员国进行使用的理由请求，并根据第4段提到的国家法律的详细规则颁发的。然而，在充分证明的紧急情况下，可以在没有授权的情况下开始使用该系统，只要在AI系统使用期间不迟延请求授权，如果授权被拒绝，应立即停止使用。主管司法或行政当局只有在确信，根据向其提供的客观证据或明确指示，所涉及的“实时”远程生物识别系统对实现第1段(d)点所确定的目的之一是必要和相称的，才能授予授权。在决定请求时，主管司法或行政当局应考虑第2段所提到的要素。

4. 成员国可以决定在其国家法律中规定，在第1段(d)点、第2段和第3段所列的限制和条件下，完全或部分授权在公共场所使用“实时”远程生物识别系统进行执法。该成员国应在其国家法律中规定有关授权请求、颁发和行使以及与之相关的监督和报告的详细规则。这些规则还应明确规定，对于第1段(d)点所列的目标，包括其中所指的刑事犯罪，主管当局可以被授权使用这些系统进行执法。

第三章高风险人工智能系统

第一节

高风险人工智能系统分类

第6条

高风险人工智能系统的分类规则

1. 如果AI系统本身是联盟协调法规所涵盖的产品，并在附件二中列出，那么如果根据上述法规需要进行第三方符合性评估以投放市场或投入使用，该AI系统应被视为高风险。

2. 如果AI系统旨在作为第1段所指的法规所涵盖的产品的安全组件，那么如果根据上述法规需要进行第三方符合性评估以投放市场或投入使用，该AI系统应被视为高风险。无论AI系统是否独立于产品投放市场或投入使用，本条款均适用。

3. 附件三所指的AI系统应被视为高风险，除非系统的输出纯粹是关于相关行动或决策的附属物，因此不可能导致对健康、安全或基本权利的重大风险。

为确保本法规实施的统一条件，委员会应在本法规生效后一年内通过实施行为明确附件三所指的AI系统的输出纯粹是关于相关行动或决策的附属物的情况。这些实施行为应按照第74条第2段所指的审查程序通过。

第7条

附件三的修订

1. 委员会有权根据第73条通过委托行为修订附件三中的列表，添加高风险AI系统，只要满足以下两个条件：

(a) AI系统旨在在附件三第1至8点所列的任何领域中使用；

(b) AI系统对健康和安全的危害风险，或对基本权利的不利影响风险，在其严重程度和发生概率方面，等于或大于附件三已经提到的高风险AI系统所构成的风险。

2. 在评估第1段所指的AI系统是否构成与附件三已经提到的高风险AI系统所构成的危害或不利影响风险相等或更大的风险时，委员会应考虑以下标准：

(a) AI系统的预期目的；

(b) AI系统已经或可能被使用的程度；

(d) 这种危害或不利影响的潜在范围，特别是其强度和影响多人的能力；

(e) 潜在受害者在多大程度上依赖于AI系统产生的结果，特别是由于实际或法律原因，选择退出该结果不是合理可能的；

(f) 潜在受害者在多大程度上处于易受攻击的位置，特别是由于权力、知识、经济或社会环境的不平衡，或年龄；

(g) 使用AI系统产生的结果在多大程度上不易逆转，其中对个人健康或安全产生影响的结果不应被视为易逆转的；

(h) 现有的联盟法规在以下方面提供了多少：

(i) 关于AI系统所带来的风险的有效救济措施，不包括损害赔偿要求；

(ii) 有效措施以预防或大大减少这些风险；

(iii) AI使用对个人、团体或整个社会的利益的重要性和可能性。

3. 委员会有权根据第73条通过委托行为修订附件三中的清单，删除高风险AI系统，只要满足以下两个条件：

(a) 相关的高风险AI系统不再对基本权利、健康或安全构成任何重大风险，考虑到第2段所列的标准；

(b) 删除不会降低欧盟法律下对健康、安全和基本权利的整体保护水平。

第二节

高风险人工智能系统的要求

第8条

符合要求

1. 高风险人工智能系统应符合本章规定的要求，同时考虑公认最先进的技术。

2. 在确保符合这些要求时，应考虑高风险人工智能系统的预期目的和第9条所指的风险管理系统。

第9条

风险管理系统

1. 应针对高风险人工智能系统建立、实施、记录和维护风险管理系统。

2. 风险管理系统应被理解为一个在整个高风险人工智能系统生命周期内进行规划和运行的持续迭代过程，需要定期系统更新。它应包括以下步骤：

(a) 识别和分析可能对健康、安全和基本权利产生影响的已知和可预见风险，考虑到高风险人工智能系统的预期目的；

(b) [已删除]；

(d) 根据以下各段的规定采取适当的风险管理措施。

本段所指的风险仅涉及通过高风险人工智能系统的发展或设计，或提供充分的技术信息，可以合理减轻或消除的风险。

3. 第2段(d)点所指的风险管理措施应充分考虑本第2章规定的要求的综合应用所产生的影响和可能的相互作用，以便在实现这些要求的措施时更有效地降低风险。

4. 第2段(d)点所指的风险管理措施应使与每个危险相关的残余风险以及高风险人工智能系统的总体残余风险被认为是可以接受的。

5. 对高风险人工智能系统进行测试，以确保其按照预期目的运行，并符合本章规定的各项要求。

6. 测试程序可能包括根据第54a条在现实环境中进行的测试。

7. 高风险人工智能系统的测试应在开发过程的任何适当时间进行，并且在投放市场或投入使用之前进行。测试应根据初步确定的指标和与高风险人工智能系统的预期目的相适应的概率阈值进行。

8. 如第1至7段所述的风险管理系统应特别考虑高风险人工智能系统是否有可能被18岁以下的人访问或对其产生影响。

9. 对于根据相关行业联盟法律要求遵守内部风险管理程序的高风险人工智能系统提供商，第1至8段所描述的内容可以是按照该法律建立的风险管理程序的一部分。

第10条

数据和数据治理

1. 使用涉及使用数据训练模型的技术的高风险人工智能系统应基于符合第2至5段所述质量标准的培训、验证和测试数据集进行开发。

2. 培训、验证和测试数据集应遵守适当的数据治理和管理实践。这些实践应特别关注：

(a) 相关的设计选择；

(b) 数据收集过程；

(d) 制定相关的假设，特别是关于数据应测量和表示的信息；

(e) 对所需数据集的可用性、数量和适用性的预先评估；

(f) 检查可能影响自然人的健康和安全或导致联盟法律禁止的歧视的潜在偏见；

(g) 确定任何可能存在的数据差距或不足之处，以及如何解决这些问题。

3. 培训、验证和测试数据集应具有相关性、代表性，并在最大程度上无误且完整。它们应具有适当的统计特性，包括在适用的情况下，关于高风险人工智能系统预期使用的人群或人群组的特性。这些数据集的特性可以在单个数据集或其组合的水平上满足。

4. 培训、验证和测试数据集应根据预期目的，在必要的程度上考虑特定地理、行为或功能环境的特征或要素，即高风险人工智能系统预期使用的环境。

5.在确保高风险人工智能系统进行偏见监测、检测和纠正的目的严格必要的情况下，这些系统的提供商可以根据《欧洲议会条例（EU）2016/679》第9(1)条、《欧盟指令（EU）2016/680》第10条和《欧洲议会条例（EU）2018/1725》第10(1)条的规定处理特殊类别的个人数据，前提是采取适当的保护措施，保障自然人的基本权利和自由，包括采用最先进的安全和隐私保护措施，如匿名化或在匿名化可能显著影响所追求目的的情况下采用加密技术。

6.对于不使用模型训练技术的高风险人工智能系统，第2至5条仅适用于测试数据集。

第11条

技术文档

1. 高风险人工智能系统的技术文档应在该系统投放市场或投入使用之前编制，并保持更新。技术文档的编制方式应能证明高风险人工智能系统符合本章规定的各项要求，并向国家主管部门和指定机构提供所有必要的信息，以清晰、全面的形式评估人工智能系统符合这些要求。技术文档应至少包含附件四中规定的要素，或者在中小企业（包括初创企业）的情况下，包含任何达到相同目标的等效文档，除非主管部门认为不适当。

2. 如果与附件二A部分所列法律行为相关的高风险人工智能系统投放市场或投入使用，应编制一份单一的技术文档，包含附件四中的所有信息以及这些法律行为所要求的信息。

3. 委员会有权根据第73条通过委托行为对附件四进行必要的修订，以确保在技术进步的情况下，技术文档提供了评估系统符合本章规定的各项要求的所有必要信息。

第12条

记录保存

1. 高风险人工智能系统应在其生命周期内技术上允许自动记录事件（“日志”）。

2. 为确保人工智能系统的运行可追溯性与其预期目的相适应，日志功能应能够记录与以下内容相关的事件：

(i) 识别可能导致人工智能系统在第65(1)条或重大修改的情况下出现风险的情况；

(ii) 促进第61条所指的售后监测；

(iii) 监测第29(4)条所指的高风险人工智能系统的运行。

4. 对于附件三第1段(a)点所指的高风险人工智能系统，日志功能至少应提供：

(a) 记录系统的使用周期（每次使用的开始和结束日期和时间）；

(b) 系统检查输入数据的参考数据库；

(d) 参与验证结果的自然人的识别，如第14(5)条所述。

第13条

透明度和向用户提供信息

1. 高风险AI系统的设计和开发应确保其操作具有足够的透明度，以便符合本章第3节规定的用户和提供商的相关义务，并使用户能够理解和适当地使用系统。

2. 高风险AI系统应附有使用说明书，以适当的数字格式或其他形式提供简洁、完整、正确和清晰的相关信息，以便用户易于获取和理解。

3. 第2款所指的信息应明确：

(a) 提供商及其授权代表（如适用）的身份和联系方式；

(b) 高风险AI系统的性能特点、能力和限制，包括：

(i) 预期目的，包括高风险AI系统预期使用的具体地理、行为或功能环境；

(ii) 准确度水平，包括第15条所提到的指标、鲁棒性和网络安全，以及针对高风险AI系统进行测试和验证的预期准确度、鲁棒性和网络安全，以及任何已知和可预见的情况，这些情况可能影响预期的准确度、鲁棒性和网络安全；

(iii) 与预期目的使用高风险AI系统相关的任何已知或可预见的情况，可能导致第9(2)条所指的健康、安全或基本权利风险；

(iv) 适当时，关于特定个人或群体的行为，系统预期使用的对象；

(v) 适当时，输入数据的规格，或与AI系统使用目的相关的任何其他信息，考虑训练、验证和测试数据集的使用；

(vi) 适当时，系统的预期输出描述。

(d) 第14条所指的人监督措施，包括为使用户能够解释AI系统输出而采取的技术措施；

(e) 计算和硬件资源的需求，高风险AI系统的预期寿命以及任何必要的维护和保养措施（包括其频率），以确保AI系统的正常运行，包括软件更新；

(f) 描述AI系统内的机制，以便用户适当地收集、存储和解释日志（如适用）。

第14条

人类监督

1. 高风险AI系统的设计和开发应包括适当的人机界面工具，以便在AI系统使用期间能被自然人有效监督。

2. 人监督旨在防止或最小化在按照预期目的或在可合理预见的误用条件下使用高风险AI系统时可能出现的健康、安全或基本权利风险，特别是在尽管已采取本章规定的其他要求，但这些风险仍然存在的情况下。

3. 人监督可通过以下一种或所有措施确保：

(a) 提供商在将高风险AI系统投放市场或投入使用之前确定并集成到系统中的技术可行措施；

(b) 提供商在将高风险AI系统投放市场或投入使用之前确定的措施，以便用户适当实施。

4. 为实施第1至3款，应向用户提供高风险AI系统，以便分配给人监督的自然人能够在适当和与情况相称的程度上：

(a) 了解高风险AI系统的能力和限制，并能够适当监控其运行；

(b) 意识到可能自动依赖或过度依赖高风险AI系统产生的输出（“自动化偏见”）；

(d) 在任何特定情况下决定不使用高风险AI系统或忽略、覆盖或反转高风险AI系统的输出；

(e) 干预高风险AI系统的操作或通过“停止”按钮或类似程序中断系统。

5. 对于附件三第1(a)点所指的高风险AI系统，第3款所指的措施应确保，除非至少有两名自然人单独验证和确认，否则用户不得根据系统产生的识别结果采取行动或决策。对于用于执法、移民、边境管制或庇护目的的高风险AI系统，在欧盟或国家法律认为适用这一要求不成比例的情况下，不适用至少两名自然人单独验证的要求。

第15条

准确度、鲁棒性和网络安全

1. 高风险AI系统的设计和开发应确保在考虑其预期目的的情况下，实现适当的准确度、鲁棒性和网络安全水平，并在其整个生命周期内保持这些方面的一致性。

2. 高风险AI系统的准确度水平和相关准确度指标应在使用说明书中声明。

3. 高风险AI系统应具有鲁棒性，能够应对系统内部或系统运行环境中可能出现的错误、故障或不一致性，特别是由于与自然人或其他系统的互动。

高风险AI系统的鲁棒性可以通过技术冗余解决方案实现，包括备份或故障安全计划。在市场上或投入使用后继续学习的高风险AI系统应开发成尽可能消除或减少可能影响未来操作的有偏输出风险（“反馈循环”），并采取适当的缓解措施。

4. 高风险AI系统应具有抵抗未经授权的第三方试图利用系统漏洞改变其使用或性能的能力。确保高风险AI系统网络安全的技术解决方案应适应相关情况和风险。针对AI特定漏洞的技术解决方案应包括适当的措施，以防止和控制试图操纵训练数据集（“数据中毒”）、设计用于使模型出错的输入（“对抗性示例”）或模型缺陷的攻击。

第三节

高风险AI系统提供商和用户的义务以及其他方

第16条

高风险AI系统的提供商义务

高风险AI系统的提供商应：

(a) 确保其高风险AI系统符合本标题第2章中规定的要求；

(aa) 在高风险AI系统或其包装或附带文件上标明其名称、注册商号或注册商标以及联系地址（如适用）；

(b) 建立符合第17条规定的质量管理体系；

(d) 在其控制范围内，保留根据第20条自动生成的日志；

(e) 在将高风险AI系统投放市场或投入使用之前，确保其通过第43条所指的相关合格评定程序；

(f) 遵守第51(1)条所规定的注册义务；

(g) 如果高风险AI系统不符合本标题第2章规定的要求，采取第21条所指的必要纠正措施；

(h) 通知在其提供AI系统或投入使用的欧盟成员国的有关国家主管部门，以及在适用情况下通知通报机构，告知其不符合情况和采取的任何纠正措施；

(i) 根据第49条规定，在其高风险AI系统上加贴CE标志，以表明符合本法规；

(j) 应国家主管部门要求，证明高风险AI系统符合本标题第2章规定的要求。

第17条

质量管理体系

1. 高风险AI系统的提供商应建立一个质量管理体系，以确保符合本法规。该体系应以书面政策、程序和指示的形式系统地记录，并至少包括以下方面：

(a) 法规合规策略，包括合格评定程序和高风险AI系统修改管理程序；

(b) 设计、设计控制和设计验证的技术和程序；

(d) 在高风险AI系统开发前、中、后进行的检查、测试和验证程序及其执行频率；

(e) 技术规范，包括标准，以及在不完全采用相关协调标准时，确保高风险AI系统符合本标题第2章规定的要求的方法；

(f) 数据管理的系统和程序，包括数据收集、数据分析、数据标注、数据存储、数据过滤、数据挖掘、数据聚合、数据保留以及在将高风险AI系统投放市场或投入使用前进行的其他数据处理操作；

(g) 第9条所指的风险管理系统；

(h) 根据第61条建立、实施和维护售后监测系统；

(i) 与第62条规定的严重事件报告相关的程序；

(j) 处理与国家主管部门、主管部门（包括行业主管部门）、提供或支持数据访问的通知机构、其他运营商、客户或其他利益相关者的沟通；

(k) 记录和保存所有相关文件和信息的系统和程序；

(l) 资源管理，包括供应链安全措施；

(m) 一个明确管理层和其他员工在本段所列各方面的责任的问责框架。

2. 第1款所述方面的实施应与提供商组织的规模相适应。

2a. 对于根据相关行业联盟法律有关于质量管理体系义务的高风险AI系统提供商，第1款所述方面可以是该法律下的质量管理体系的一部分。

3. 对于根据联盟金融服务法规有关于其内部治理、安排或过程要求的金融机构提供商，除了第1款的(g)、(h)和(i)点外，建立质量管理体系的义务应通过遵守有关内部治理安排或过程的规则来履行。在这种情况下，应考虑本法规第40条所指的任何协调标准。

第18条

文件保存

1. 提供商应在AI系统投放市场或投入使用后的10年内，保留本标题第11条所指的技术文件、第17条所指的质量管理体系文件、通知机构批准的变更文件（如适用）、通知机构发布的决定和其他文件（如适用）以及第48条所指的欧盟符合性声明，以供国家主管部门查阅。

1a. 每个成员国应确定在提供商或其在本国领土上的授权代表在该期间破产或在该期间结束前停止活动的情况下，第1款所指文件在国家主管部门查阅的条件。

2. 根据联盟金融服务法规有关于其内部治理、安排或过程要求的金融机构提供商，应将技术文件作为根据相关金融服务法规保存的文件的一部分予以保留。

第19条

合格评定

1. 高风险AI系统的提供商应确保其系统在投放市场或投入使用前，根据第43条进行相关合格评定程序。在合格评定后，如果AI系统符合本标题第2章规定的要求，提供商应根据第48条起草欧盟符合性声明，并根据第49条加贴CE符合性标志。

2. [已删除]

第20条

自动生成的日志

1. 高风险AI系统的提供商应保留根据第12(1)条自动生成的日志，前提是这些日志因其与用户的合同安排或其他法律规定而在其控制范围内。他们应至少保留六个月，除非适用的联盟或国家法律另有规定，特别是在联盟关于个人数据保护的法律中。

2. 根据联盟金融服务法规有关于其内部治理、安排或过程要求的金融机构提供商，应将高风险AI系统自动生成的日志作为根据相关金融服务法规保存的文件的一部分予以保留。

第21条

纠正措施

如果高风险AI系统的提供商认为或有理由认为其投放市场或投入使用的高风险AI系统不符合本法规，应立即调查（如适用）与报告用户合作的原因，并采取必要的纠正措施使系统符合要求、撤回或召回，视情况而定。他们还应通知有关高风险AI系统的分销商，并在适用情况下通知授权代表和进口商。

第22条

信息披露义务

如果高风险AI系统存在第65(1)条规定的风险，且提供商知道该风险，提供商应立即通知其提供系统的欧盟成员国的有关国家主管部门，以及在适用情况下通知为高风险AI系统颁发证书的通知机构，特别是告知其不符合情况和采取的任何纠正措施。

第23条

与主管部门合作

在国家主管部门要求时，高风险AI系统的提供商应以该成员国主管部门易于理解的语言，向主管部门提供证明高风险AI系统符合本标题第2章规定要求的所有信息和文件。在国家主管部门有理由的请求下，提供商还应允许主管部门访问根据第12(1)条自动生成的日志，前提是这些日志因其与用户的合同安排或其他法律规定而在其控制范围内。

第23a条

其他主体承担提供商义务的条件

1. 在以下任何情况下，任何自然人或法人均应被视为本法规下的新型高风险AI系统的提供商，并应承担第16条规定的提供商义务：

(a) 他们在已投放市场或投入使用的高风险AI系统上署名或商标，但不影响约定义务分配的合同安排；

(b) [已删除]

(d) 他们修改了非高风险的AI系统的预期目的，使其已投放市场或投入使用，从而使修改后的系统成为高风险AI系统；

(e) 他们将通用目的AI系统作为高风险AI系统或高风险AI系统的组成部分投放市场或投入使用。

2. 如果发生第1段(a)或(c)点所述情况，最初将高风险AI系统投放市场或投入使用的提供商将不再被视为本法规下的提供商。

3. 对于作为附件二A部分所列法律适用的安全组件的高风险AI系统，这些产品的制造商应被视为高风险AI系统的提供商，并应承担第16条规定的义务，前提是：

(i) 高风险AI系统与产品一起投放市场，使用产品制造商的名称或商标；

(ii) 在产品投放市场后，高风险AI系统在产品制造商的名称或商标下投入使用。

第24条

[已删除]

第25条

授权代表

1. 在将系统投放到联盟市场之前，联盟之外建立的提供者应通过书面授权任命在联盟内建立的授权代表。

2. 授权代表应执行从提供者处收到的授权书中指定的任务。为了本法规的目的，授权书应授权授权代表仅执行以下任务：

(a) 验证欧盟符合性声明和技术文件已由提供者起草，且已进行了适当的符合性评估程序；

(a) 在高风险AI系统投放市场或投入使用后的10年内，向国家主管部门和第63(7)条所指的国家当局提供提供者的联系信息、欧盟符合性声明副本、技术文件以及（如适用）通知机构颁发的证书；

(b) 根据国家主管部门的合理要求，向其提供所有必要的信息和文件（包括根据(b)点保留的信息），以证明高风险AI系统符合本法规第二章规定的要求，包括访问日志（如第12(1)条所述），在提供者与用户之间存在合同安排或其他法律规定的情况下，由高风险AI系统自动生成的日志；

(d) 遵守第51(1)条所规定的注册义务，如果系统的注册由提供者自行办理，则验证附件八第二部分1至11的信息正确。

授权代表在认为提供者未履行本法规规定的义务时，应终止授权。在这种情况下，应立即通知其所在成员国的市场监管机构以及（如适用）相关通知机构关于终止授权及原因。

授权代表应与提供者在同等基础上，根据理事会指令85/374/EEC对缺陷AI系统的法律责任承担连带责任。

第26条

进口商的义务

1. 在将高风险AI系统投放市场之前，此类系统的进口商应确保该系统符合本法规，方法是验证：

(a) AI系统的提供者已按照第43条所述的相关符合性评估程序进行了操作；

(b) 提供者已按照附件IV起草技术文件；

(d) 提供者已按照第25条规定设立了授权代表。

2. 如果进口商有充分理由认为高风险AI系统不符合本法规，或存在伪造情况，或附带伪造文件，那么在将该系统投放市场之前，应先使其符合规定。如果高风险AI系统存在第65(1)条所述的风险，进口商应通知AI系统的提供者、授权代表和市场监管机构。

3. 进口商应在高风险AI系统上或（如无法实现）在其包装或附带文件上注明其名称、注册商标或注册商号以及联系方式。

4. 进口商应确保在其负责的高风险AI系统下，适用的存储或运输条件不会影响其符合本法规第二章规定要求。

4a. 进口商应保留通知机构颁发的证书副本（如适用）、使用说明和欧盟符合性声明，自AI系统投放市场或投入使用之日起至少10年。

5. 进口商应根据国家主管部门的合理要求，提供所有必要的信息和文件（包括根据第5款保留的信息），以证明高风险AI系统符合本法规第二章规定的要求，且文件应以主管部门容易理解的语言提供。为此，他们还应确保技术文件可供这些主管部门查阅。

5a. 进口商应与国家主管部门合作，配合他们针对其所进口的AI系统采取的任何行动。

第27条

分销商的义务

1. 在将高风险AI系统投放市场之前，分销商应验证高风险AI系统是否带有所需的CE符合性标志，是否附有欧盟符合性声明和使用说明，以及提供者和进口商是否履行了第16条第(b)款和第26(3)款规定的义务。

2. 如果分销商认为或有理由认为高风险AI系统不符合本法规第二章的规定，那么在将该系统投放市场之前，应先使其符合规定。此外，如果系统存在第65(1)条所述的风险，分销商应通知系统提供者或进口商。

3. 分销商应确保在其负责的高风险AI系统下，适用的存储或运输条件不会影响其符合本法规第二章规定要求。

4. 分销商认为或有理由认为其已投放市场的高风险AI系统不符合本法规第二章的规定时，应采取必要的纠正措施，以使系统符合规定，或撤回或召回该系统，或确保提供者、进口商或任何相关运营商采取相应的纠正措施。如果高风险AI系统存在第65(1)条所述的风险，分销商应立即通知其所在成员国的有关国家主管部门，详细说明不符合规定的情况和采取的任何纠正措施。

第28条

[已删除]

第29条

高风险人工智能系统的用户义务

1. 高风险人工智能系统的用户应根据系统随附的说明书使用这些系统，根据本条款的第2和第5段。

1a. 用户应将人类监督分配给具有必要能力、培训和权威的自然人。

2. 第1和1a段的义务不影响用户在联盟或国家法律下的其他义务，也不影响用户在组织自己的资源和活动以实施提供者指示的人类监督措施方面的自由裁量权。

3. 在不影响第1段的情况下，用户应确保其控制范围内的输入数据与高风险人工智能系统的预期目的相关。

4. 用户应根据说明书实施人类监督并监控高风险人工智能系统的运行。当他们有理由认为按照说明书使用可能导致人工智能系统出现第65(1)段所述的风险时，他们应通知提供者或分销商并暂停使用系统。当他们发现任何严重事件时，他们还应通知提供者或分销商并中断使用人工智能系统。如果用户无法联系到提供者，则第62条应相应适用。此义务不包括属于执法机构的人工智能系统用户的敏感操作数据。

对于受到与内部治理、安排或过程相关的要求约束的金融机构用户，本段中规定的监控义务应通过遵守相关金融服务立法规定的内部治理安排、过程和机制规则来履行。

5. 高风险人工智能系统的用户应保留由该高风险人工智能系统自动生成的日志（如第12(1)段所述），只要这些日志在他们的控制范围内。除非适用的联盟或国家法律另有规定，特别是关于个人数据保护的联盟法律，否则他们应至少保留六个月。

受到与内部治理、安排或过程相关的要求约束的金融机构用户，应根据相关金融服务立法保留日志作为文件的一部分。

5a. 高风险人工智能系统的用户，如果是公共当局、机构或机构（执法、边境管制、移民或庇护当局除外），应遵守第51条规定的注册义务。当他们发现他们打算使用的系统尚未在第60条所述的欧盟数据库中注册时，他们不应使用该系统，并向提供者或分销商通报。

6. 使用高风险人工智能系统的用户应根据第13条提供的信息，在适用的情况下，根据欧洲联盟条例（EU）2016/679的第35条或欧洲联盟指令（EU）2016/680的第27条履行进行数据保护影响评估的义务。

6a. 用户应与国家主管部门合作，配合这些部门针对他们所使用的人工智能系统采取的任何行动。

第四节

通知机构和指定机构

第30条

通知机构

1. 每个成员国应指定或建立至少一个通知机构，负责建立和执行必要的程序，以评估、指定和通知符合性评估机构，并对其监控。

2. 成员国可以决定，根据并按照欧洲议会和理事会条例（EC）No 765/2008的规定，由国家认可机构执行第1段所述的评估和监控。

3. 通知机构的建立、组织和运作方式应确保与符合性评估机构不存在利益冲突，其活动的客观性和公正性得到保障。

4. 通知机构的组织方式应确保，与评估这些机构的人员相分离的有能力的人员对符合性评估机构的通知进行决策。

5. 通知机构不得提供或提供符合性评估机构所执行的任何活动或任何商业或竞争性的咨询服务。

6. 通知机构应根据第70条保护其获得的信息的机密性。

7. 通知机构应拥有足够数量的有能力的人员，以便适当履行其任务。

第31条

符合性评估机构的申请通知

1. 符合性评估机构应向其所在成员国的通知机构提交通知申请。

2. 通知申请应附有符合性评估活动、符合性评估模块或模块以及符合性评估机构声称有能力评估的AI系统的描述，以及国家认可机构颁发的认可证书（如有），证明符合性评估机构符合第33条规定的要求。申请人通知机构在任何其他联盟协调法规下的任何现有指定的有效文件均应附加。

3. 如果有关符合性评估机构无法提供认可证书，则应向通知机构提供所有必要的文件证据，以便核实、承认和定期监控其符合第33条规定的要求。对于根据任何其他联盟协调法规指定的通知机构，所有与这些指定相关的文件和证书均可用于支持其根据本法规的指定程序，视情况而定。通知机构应随时更新第2款和第3款所称的文件，以便让负责通知机构的当局能够监控和核查其持续符合第33条规定的所有要求。

第32条

通知程序

1. 通知机构仅能通知符合第33条规定要求的符合性评估机构。

2. 通知机构应使用委员会开发和管理的电子通知工具，将其通知机构通知委员会和其他成员国。

3. 第2款所述的通知应包括有关符合性评估活动、符合性评估模块或模块以及有关AI系统的详细信息和相关的能力认证。如果通知不是根据第31条（2）所指的认可证书进行的，通知机构应向委员会和其他成员国提供证明符合性评估机构能力和确保该机构将受到定期监控并继续符合第33条规定要求的安排的文件证据。

4. 有关符合性评估机构仅在委员会或其他成员国在通知机构包括第31（2）条所指的认可证书的通知书发出后两周内，或在通知机构包括第31（3）条所指的文件证据的通知书发出后两个月内，未提出异议的情况下，方可执行通知机构的活动。

5. [已删除]

第33条

与通知机构有关的要求

1. 通知机构应根据国家法律设立并具有法人资格。

2. 通知机构应满足履行其任务所需的组织、质量管理、资源和过程要求。

3. 通知机构的组织结构、职责分配、报告线和运作方式应确保人们对通知机构进行的符合性评估活动及其结果有信心。

4. 通知机构在对高风险AI系统进行符合性评估活动时，应独立于高风险AI系统的提供者。通知机构还应独立于任何对被评估的高风险AI系统有经济利益的其他经营者，以及提供者的竞争对手。

5. 通知机构的组织和运作方式应保障其活动的独立性、客观性和公正性。通知机构应记录并实施结构和程序，以保障公正性，并在其组织、人员和评估活动中推广和应用公正性原则。

6. 通知机构应制定文件化的程序，确保其人员、委员会、子公司、分包商以及任何关联实体或外部实体的人员在进行符合性评估活动过程中，根据第70条对其所掌握的信息保密，除非法律要求披露。通知机构的工作人员在根据本法规执行任务时，应对所有获得的信息承担职业保密义务，但与其活动所在成员国的通知机构有关的情况除外。

7. 通知机构应制定考虑到企业的规模、所处行业、结构、所涉及的AI系统的复杂程度的活动执行程序。

8. 除非成员国根据国家法律承担其责任，否则通知机构应为其符合性评估活动投保适当的责任保险。如果成员国直接负责符合性评估，则该成员国应根据国家法律承担其责任。

9. 通知机构应能够以最高程度的职业操守和特定领域的必备能力，自行或在其名义和责任下执行本法规赋予的所有任务。

10. 通知机构应具备足够的内部能力，以有效评估代表其执行任务的外部各方的工作。通知机构应随时配备足够的行政、技术、法律和科学人员，他们具有与相关人工智能技术、数据和数据计算以及本法规第二章规定要求相关的经验和知识。

11. 通知机构应参加第38条所述的协调活动。它们还应直接参与或在欧洲标准化组织中代表，或确保它们了解并及时了解相关标准。

12. [已删除]

第33a条

关于通知机构的相关要求的符合性推定

当一个符合性评估机构证明其符合已在《欧洲联盟官方公报》上公布的相关协调标准的准则或部分内容时，应推定其符合第33条规定的要求，只要适用的协调标准涵盖了这些要求。

第34条

通知机构的子公司及分包

1. 当一个通知机构将与符合性评估相关的特定任务分包或寻求子公司的帮助时，应确保分包商或子公司符合第33条规定的要求，并向通知机构相应地通报。

2. 通知机构应对分包商或子公司在任何地点执行的任务承担全部责任。

3. 只有在提供者的同意下，活动才可以分包或由子公司执行。

第34a条

通知机构的运营义务

1. 通知机构应根据第43条所述的符合性评估程序验证高风险AI系统的符合性。

2. 通知机构在开展活动时应避免给提供者带来不必要的负担，并充分考虑企业的规模、所处行业、结构以及所涉及的高风险AI系统的复杂程度。在这样做的过程中，通知机构仍应尊重高风险AI系统符合本法规要求所需的严格程度和保护水平。

3. 通知机构应根据要求向第30条所述的通知机构提供所有相关文件（包括提供者的文件），以便该机构进行评估、指定、通知、监控活动，并促进本章所述的评估。

第35条

根据本法规指定的通知机构的识别号码和名单

1. 委员会应为通知机构分配一个识别号码。即使一个机构在几个联盟法案下被通知，也应分配一个单一的号码。

2. 委员会应公布根据本法规通知的机构名单，包括分配给它们的识别号码以及它们被通知的活动。委员会应确保名单保持最新。

第36条

通知变更

1. 通知机构应通过第32(2)条所述的电子通知工具，向委员会和其他成员国通报通知机构通知的任何相关变更。

2. 第31条和第32条所述的程序适用于通知范围的扩展。对于不属于扩展范围的其他通知变更，以下程序适用。当通知机构决定停止其符合性评估活动时，应尽快通知通知机构和相关提供者，如果是计划停止，则在停止活动前一年通知。在通知机构活动停止后，证书在临时有效期内（最长九个月）仍然有效，前提是另一个通知机构已书面确认将承担这些证书所覆盖的AI系统的责任。新的通知机构应在该期限结束前完成受影响的AI系统的全面评估，然后为这些系统颁发新的证书。如果通知机构已停止其活动，通知机构应撤回其指定。

3. 如果通知机构有充分理由认为通知机构不再符合第33条规定的要求，或者未履行其义务，通知机构应在通知机构有机会陈述其意见的情况下，根据未满足要求或未履行义务的严重程度，适当地限制、暂停或撤销通知。它应立即通知委员会和其他成员国。

4. 如果指定被暂停、限制或完全或部分撤回，通知机构应通知相关制造商。

5. 在限制、暂停或撤销通知的情况下，通知机构应采取适当措施，确保有关通知机构的文件被保留，并根据其他成员国的通知机构和市场监管机构的要求提供给他们。

6. 在限制、暂停或撤销指定的情况下，通知机构应：

a) 评估通知机构颁发的证书的影响；

b) 在通知变更后的三个月内向委员会和其他成员国提交关于调查结果的报告；

c) 要求通知机构在当局确定的合理期限内暂停或撤销任何不当颁发的证书，以确保市场上AI系统的符合性；

d) 通知委员会和成员国已要求暂停或撤销的证书；

e) 向提供者在其注册营业地点所在成员国的有关国家主管部门提供所有关于已要求暂停或撤销的证书的相关信息。该主管部门应在必要时采取适当措施，以避免对健康、安全或基本权利的潜在风险。

7. 除了不当颁发的证书和通知被暂停或限制的情况外，证书在以下情况下仍然有效：

a) 通知机构已在暂停或限制后的一个月内确认，与暂停或限制相关的证书没有对健康、安全或基本权利的风险，并且通知机构已概述了解决暂停或限制的时间表和预期行动；或

b) 通知机构已确认，在暂停或限制期间，与暂停相关的证书将不会被颁发、修改或重新颁发，并且说明通知机构在暂停或限制期间是否具有继续监控和对已颁发的证书承担责任的能力。如果负责通知机构的主管部门确定通知机构没有支持已颁发的证书的能力，提供者应在暂停或限制后的三个月内向其注册营业地点所在成员国的国家主管部门提供另一个合格的通知机构暂时承担通知机构在暂停或限制期间的职责的书面确认。

8. 除了不当颁发的证书和指定被撤销的情况外，证书在以下情况下有效期为九个月：

b) 通知机构已确认，在指定被撤销后的十二个月内，另一个通知机构将承担这些系统的责任并完成评估。

在第一段所述的情况下，提供者在其注册营业地点所在成员国的有关国家主管部门可以进一步延长证书的临时有效期，每次延长三个月，总共不得超过十二个月。负责通知机构的主管部门或承担受影响通知机构功能的其他通知机构应立即通知委员会、其他成员国和其他通知机构。

第37条

对通知机构能力的质疑

1. 委员会在必要时调查所有有理由怀疑通知机构是否符合第33条规定的要求的案件。

2. 通知机构应根据要求向委员会提供与有关通知机构通知相关的所有相关信息。

3. 委员会应确保在根据本条规定进行调查过程中获得的所有机密信息按照第70条的规定保密。

4. 如果委员会确定通知机构不符合或不再符合第33条规定的要求，它应通知通知机构并要求其采取必要的纠正措施，包括在必要时暂停、限制或撤销指定。如果通知机构未采取必要的纠正措施，委员会可以通过实施行为暂停、限制或撤销通知。实施行为应根据第74(2)条所述的审查程序通过。

第38条

通知机构的协调

1. 委员会应确保在根据本法规进行符合性评估程序的高风险AI系统中，通知机构之间的适当协调和合作得以建立并有效运作，形成通知机构部门小组。

2. 通知机构应确保其通知的机构直接或通过指定代表参与该小组的工作。

第39条

第三国的符合性评估机构

在与欧盟签订协议的第三国法律下设立的符合性评估机构可以在符合第33条规定的要求的情况下，被授权根据本法规开展通知机构的活动。

第五节

标准、符合性评估、证书、注册

第40条

协调标准

1. 符合已在《欧洲联盟官方公报》上公布其引用的协调标准的高风险AI系统或通用AI系统，应被推定符合本法规第二章或（适用时）符合第4a条和第4b条规定的要求，只要这些标准涵盖了这些要求。

2. 在根据《欧盟》第1025/2012号条例第10条向欧洲标准化组织提出标准化请求时，委员会应明确规定，标准应具有一致性、清晰性，并以实现以下目标为特别目的：

a) 确保在联盟市场上投放或投入使用的AI系统安全，并尊重联盟价值观，加强联盟的开放战略自主；

b) 通过提高法律确定性，促进AI的投资和创新，以及联盟市场的竞争力和增长；

c) 加强多利益相关者治理，代表所有相关欧洲利益相关者（如产业、中小企业、民间社会、研究人员）；

d) 有助于加强与联盟价值观和利益一致的全球AI标准化合作。

委员会应要求欧洲标准化组织提供证据，证明其已尽最大努力实现上述目标。

第41条

通用规范

1. 在满足以下条件的情况下，委员会有权在咨询第56条所述的AI委员会后，根据第74(2)条所述的审查程序通过实施法案，制定本法规第二章或（适用时）第4a条和第4b条规定的要求的通用技术规范：

(a) 没有关于覆盖相关基本安全或基本权利问题的协调标准的引用在《欧洲联盟官方公报》上根据《欧盟》第1025/2012号条例发布；

(b) 委员会已根据《欧盟》第1025/2012号条例第10(1)条要求一个或多个欧洲标准化组织起草本法规第二章的要求的协调标准；

1a. 在起草实施法案草案之前，委员会应通知第22条所述的委员会，说明其认为第1段的条件已满足。

2. 在起草实施法案草案以建立通用规范的早期阶段，委员会应实现第40(2)条所述的目标，并征求根据相关领域联盟法律设立的相关机构或专家组的意见。根据这些咨询，委员会将起草实施法案草案。

3. 符合第1段所述的通用规范的高风险AI系统或通用AI系统，应被推定符合本法规第二章或（适用时）符合第4a条和第4b条规定的要求，只要这些通用规范涵盖了这些要求。

4. 当协调标准的引用在《欧洲联盟官方公报》上公布时，涉及本法规第二章的要求或第4a条和第4b条规定的要求的实施法案应分别予以废止。

5. 当成员国认为通用规范未完全满足本法规第二章或（适用时）第4a条和第4b条规定的要求时，应向委员会提供详细解释，委员会应评估这些信息，并在适当时修改建立通用规范的实施法案。

第42条

对特定要求的符合性推定

1. 在特定地理、行为或功能环境中进行了训练和测试的高风险AI系统，应被推定符合第10(4)条规定的相应要求。

2. 已根据欧洲议会和理事会条例（EU）2019/881的网络安全计划获得认证或已发布符合性声明的高风险AI系统或通用AI系统，且其引用已在《欧洲联盟官方公报》上公布，应被推定符合本法规第15条规定的网络安全要求，只要网络安全证书或符合性声明或其部分涵盖了这些要求。

第43条

符合性评估

1. 对于附件III第1点所列的高风险AI系统，在证明高风险AI系统符合本法规第二章规定的要求时，如果提供者已采用第40条所述的协调标准或（适用时）第41条所述的通用规范，提供者应选择以下程序之一：

(a) 附件VI所述的基于内部控制的符合性评估程序；或

(b) 附件VII所述的基于质量管理体系评估和技术分析文件评估的符合性评估程序，涉及通知机构的参与。

如果在证明高风险AI系统符合本法规第二章规定的要求时，提供者未采用或仅部分采用第40条所述的协调标准，或者这些协调标准不存在且第41条所述的通用规范不可用，提供者应遵循附件VII中规定的符合性评估程序。

33 2019年4月17日欧洲议会和理事会（EU）2019/881号条例关于ENISA（欧洲联盟网络安全局）以及信息和通信技术网络安全认证的条例，废止了（EU）第526/2013号条例（网络安全法）（欧洲联盟官方公报L 151，2019年6月7日，第1页）。

为了进行附件VII所述的符合性评估程序，提供者可以选择任何通知机构。然而，当系统旨在由执法、移民或庇护当局以及欧盟机构、机构或机构投入使用时，第63(5)或(6)条所述的市场监管机构应担任通知机构。

2. 对于附件III第2至8点所指的高风险AI系统以及第1a标题中提到的通用AI系统，提供者应遵循附件VI所述的基于内部控制的符合性评估程序，该程序不涉及通知机构的参与。

3. 对于适用附件II第二部分A所列法律行为的高风险AI系统，提供者应遵循这些法律行为所要求的相关符合性评估。本法规第二章所列要求应适用于这些高风险AI系统，并成为该评估的一部分。附件VII的第4.3、4.4、4.5条以及第4.6点第五款也应适用。

为了进行该评估，已根据这些法律行为通知的机构有权控制高风险AI系统的符合性，前提是这些通知机构符合第33(4)、(9)和(10)条规定的要求已在这些法律行为下的通报程序中进行了评估。

如果附件II第二部分A所列法律行为允许产品制造商在采用所有相关协调标准涵盖所有相关要求的情况下选择不进行第三方符合性评估，那么只要该制造商还采用了第41条所述的协调标准或（适用时）通用规范，涵盖本法规第二章所列要求，该制造商才可以使用该选择。

4. [已删除]

5. 委员会有权根据第73条通过授权法案，以便根据技术进步更新附件VI和附件VII。

6. 委员会有权通过授权法案修改第1和第2款，以便将附件III第2至8点所列的高风险AI系统纳入附件VII所述的符合性评估程序或其部分。委员会在通过此类授权法案时，应考虑到附件VI所述的基于内部控制的符合性评估程序在预防或最小化这些系统对健康、安全和基本权利保护所构成的风险方面的有效性，以及通知机构的足够能力和资源的可用性。

第44条

证书

1. 通知机构根据附件七颁发的证书应以通知机构所在成员国相关当局容易理解的语言起草。

2. 证书有效期为颁发证书上所注明的期限，不得超过五年。经提供者申请，根据适用的符合性评估程序进行重新评估，证书有效期可延长若干个不超过五年的期限。任何对证书的补充在补充证书有效期内保持有效。

3. 当通知机构发现AI系统不再符合本法规第二章规定要求时，应根据比例原则暂停或撤销已颁发的证书，或对其施加任何限制，除非系统提供者在通知机构设定的适当期限内采取适当纠正措施以确保符合这些要求。通知机构应说明其决定的理由。

第45条

对通知机构决定的上诉

应提供针对通知机构决定的上诉程序。

第46条

通知机构的信息义务

1. 通知机构应向通知机构报告以下事项：

(a) 任何根据附件七要求颁发的联盟技术文件评估证书、这些证书的任何补充、根据附件七要求颁发的质量管理体系批准；

(b) 任何拒绝、限制、暂停或撤销根据附件七要求颁发的联盟技术文件评估证书或质量管理体系批准；

(d) 他们收到的市场监管机构关于符合性评估活动的任何信息请求；

(e) 应要求，在通知范围内进行的符合性评估活动以及进行的任何其他活动，包括跨境活动和分包。

2. 每个通知机构应向其他通知机构报告以下事项：

(a) 质量管理体系批准，包括拒绝、暂停或撤销的批准，以及应要求颁发的质量体系批准；

(b) 欧盟技术文件评估证书或其任何补充，以及拒绝、撤销、暂停或以其他方式限制的证书，以及应要求颁发的证书和/或补充。

3. 每个通知机构都应向进行类似符合性评估活动并涵盖相同AI系统的其他通知机构提供关于负面和（应要求）正面符合性评估结果相关问题的相关信息。

4. 第1至3段中提到的义务应遵循第70条的规定。

第47条

豁免符合性评估程序

1. 根据第43条的豁免规定，经正当理由请求，任何市场监管机构均可授权在有关成员国领土内投放市场或投入使用特定的高风险AI系统，出于公共安全的特殊情况或保护人民的生命和健康、环境保护以及保护关键工业和基础设施资产。在进行必要的符合性评估程序时，授权应仅限于有限的期限，考虑到正当理由证明豁免。在不迟延的情况下完成这些程序。

1a. 在公共安全的特殊情况下，或在对自然人的生命或身体安全构成具体、重大和紧迫威胁的情况下，执法或民防部门可以在未经第1款所述授权的情况下投入使用特定的高风险AI系统，前提是在或使用后尽快请求授权，如果被拒绝，其使用应立即停止，所有使用结果和输出应立即丢弃。

2. 只有当市场监管机构认定高风险AI系统符合本法规第二章的要求时，才能颁发第1款所述的授权。市场监管机构应通知委员会和其他成员国根据第1款颁发的任何授权。此义务不包括与执法机构活动有关的敏感操作数据。

3. [已删除]

4. [已删除]

5. [已删除]

6. 对于涉及联盟协调法规（附件二A部分）所涵盖的产品的高风险AI系统，仅适用该法规中规定的符合性评估豁免程序。

第48条

欧盟符合性声明

1. 提供者应为每个AI系统起草书面或电子签名的欧盟符合性声明，并在AI系统投放市场或投入使用后，将其保存在国家主管部门处10年。欧盟符合性声明应确定为其起草的AI系统。根据要求，应向有关国家主管部门提交欧盟符合性声明的副本。

2. 欧盟符合性声明应声明，所涉及的高风险AI系统符合本法规第二章的要求。欧盟符合性声明应包含附件五中列出的信息，并应翻译成高风险AI系统在成员国提供时，国家主管部门容易理解的语言。

3. 如果高风险AI系统受到其他联盟协调法规的约束，该法规也要求欧盟符合性声明，则应针对适用于高风险AI系统的所有联盟法规起草单一的欧盟符合性声明。声明应包含所有信息，以便识别与声明相关的联盟协调法规。

4. 通过起草欧盟符合性声明，提供者应承担遵守本法规第二章规定要求的责任。提供者应根据需要更新欧盟符合性声明。

5. 委员会有权根据第73条采用委托行为，以更新附件五中规定的欧盟符合性声明的内容，以便根据技术进步引入必要的元素。

第49条

CE符合性标志

1. CE符合性标志应遵循欧洲议会和理事会条例（EC）No 765/2008第30条所规定的原则。

2. 对于高风险AI系统，CE标志应清晰、易读且永久地附加。如果由于高风险AI系统的性质而无法或不适用，则应附加在包装或随附的文件上。

3. 如适用，CE标志应附有负责根据第43条规定的符合性评估程序的指定机构的识别号码。识别号码还应显示在任何提及高风险AI系统符合CE标志要求的促销材料中。

第50条

[已删除]

第51条

附件三中列出的相关运营商和高风险AI系统的注册

1. 在投放市场或投入使用附件三中列出的高风险AI系统（附件三中关于执法、移民、庇护和边境管制管理的第1、6和7点以及附件三点2所提到的高风险AI系统除外）之前，提供者和（如适用）授权代表应在第60条所指的欧盟数据库中注册。提供者或（如适用）授权代表还应在该数据库中注册其系统。

2. 在使用附件三中列出的高风险AI系统之前，公共当局、机构或代表其行事的实体应在使用高风险AI系统的欧盟数据库中注册，并选择他们打算使用的系统。

前款规定的义务不适用于执法、边境管制、移民或庇护当局、机构或机构，以及附件三第2点所提到的高风险AI系统使用者，以及代表其行事的实体。

第四章针对某些AI系统提供者和用户的透明度义务

第52条

针对某些AI系统提供者和用户的透明度义务

1. 提供者应确保旨在与自然人互动的AI系统的设计和开发方式能够使自然人知道他们正在与一个AI系统互动，除非对于一个合理了解情况、观察入微并谨慎行事的自然人来说，这是显而易见的，考虑到使用的环境和背景。此义务不适用于法律授权用于检测、预防、调查和起诉刑事犯罪的AI系统，前提是对第三方的权利和自由有适当的保障，除非这些系统可供公众报告刑事犯罪。

2. 生物识别分类系统的用户应告知受该系统操作影响的自然人。此义务不适用于法律允许用于生物识别分类的AI系统，以便检测、预防和调查刑事犯罪，前提是对第三方的权利和自由有适当的保障。

2a. 情感识别系统的用户应告知受该系统操作影响的自然人。此义务不适用于法律允许用于情感识别的AI系统，以便检测、预防和调查刑事犯罪，前提是对第三方的权利和自由有适当的保障。

3. 使用生成或操纵图像、音频或视频内容的AI系统，这些内容明显类似于现有的人、物体、地点或其他实体或事件，并且对一个人来说似乎具有真实性或真实性（“深度伪造”），应披露这些内容是人工生成或操纵的。然而，如果使用是法律授权用于检测、预防、调查和起诉刑事犯罪，或者内容是明显的创意、讽刺、艺术或虚构作品或节目的一部分，前提是对第三方的权利和自由有适当的保障，则第一项不适用。

3a. 第1至3段中提到的信息应在第一次互动或暴露时以清晰可辨的方式提供给自然人。

4. 第1、2、2a和3及3a段不应影响本法规第三章规定的要求和义务，并且不影响联盟或国家法律为AI系统用户规定的其他透明度义务。

第五章支持创新的措施

第53条

AI监管沙盒

-1a. 国家主管当局可以在直接监督、指导和支持下，在这些系统投放市场或投入使用之前，为创新的AI系统的发展、培训、测试和验证建立AI监管沙盒，由国家主管当局提供指导和支持。这种监管沙盒可能包括在国家主管当局监督下进行的实际条件测试。

-1b. [已删除]

-1c. 国家主管当局在适当情况下应与其他相关当局合作，并可以允许AI生态系统中的其他参与者参与。

-1d. 本条款不影响根据国家或联盟法律设立的其他监管沙盒，包括在测试与创新AI系统相关的产品或服务的情况下。成员国应确保监督这些其他沙盒的当局与国家主管当局之间有适当的合作。

1. [已删除]

1a. [已删除]

1b. 根据本法规设立AI监管沙盒的目的是促进以下一个或多个目标：

a) 促进创新和竞争力，促进AI生态系统的发展；

b) 促进和加速AI系统进入联盟市场，特别是由中小企业（SMEs）提供，包括初创企业；

c) 提高法律确定性，通过与参与AI监管沙盒的当局合作，分享最佳实践，以确保今后遵守本法规和其他联盟及成员国的立法；

d) 促进基于证据的监管学习。

2. [已删除]

2a. 任何提供者或潜在提供者，只要满足第6(a)段所述的资格和选拔标准，并在国家主管当局根据第6(b)段所述的选拔程序选择后，都可以进入AI监管沙盒。提供者或潜在提供者还可以与用户或其他相关第三方合作提交申请。

参与AI监管沙盒的时间应限制在适合项目复杂程度和规模的时间内。这一期限可以由国家主管当局延长。参与AI监管沙盒应基于本条款第6段所指的具体计划，该计划应在参与者和国家主管当局之间达成一致，视情况而定。

3. 参与AI监管沙盒不应影响监管沙盒监督当局的监管和纠正权力。这些当局应在相关立法的范围内灵活行使其监管权力，利用其在实施特定AI沙盒项目的法律条款时的自由裁量权，以支持欧盟AI创新为目标。

只要参与者遵守沙盒计划和第6(c)段所述的参与条款和条件，并按照当局的指导诚信行事，如果违反与在沙盒中监督的AI系统相关的适用联盟或成员国法律，包括本法规的规定，当局不得对参与者处以行政罚款。

4. 参与者根据适用的联盟和成员国责任法对参与AI监管沙盒过程中造成的任何损害承担责任。

4a. 应AI系统提供商或潜在提供商的要求，国家主管当局应提供（如适用）沙盒中成功开展的活动的书面证明。国家主管当局还应提供一份退出报告，详细说明在沙盒中进行的活动及相关的成果和学习成果。市场监管当局或通知机构在适用的情况下，在符合性评估程序或市场监管检查中可以考虑这些书面证明和退出报告。根据第70条的保密规定，并在沙盒参与者同意的情况下，欧洲委员会和AI委员会有权访问退出报告，并在执行本条例任务时酌情考虑。如果参与者和国家主管当局明确同意，退出报告可以通过第55(3)(b)条所指的单一信息平台公开发布。

4b. AI监管沙盒的设计和实施应促进国家主管当局之间的跨境合作（如相关）。

5. 国家主管当局应公开发布关于AI监管沙盒实施的年度报告，包括良好实践、经验教训和关于其设立以及（如相关）本条例和其他在沙盒内监督的联盟法规适用的建议。这些年度报告应提交给AI委员会，后者应公开发布所有良好实践、经验教训和建议的摘要。在执行本条例任务时，委员会和AI委员会应酌情考虑年度报告。本年度报告公开义务不包括与执法、边境管制、移民或庇护当局活动有关的敏感操作数据。

5b. 委员会应确保通过第55(3)(b)条所指的单一信息平台提供有关AI监管沙盒的信息，包括根据本条款设立的沙盒。

6. 根据第74(2)条所指的审查程序，通过实施法案确定本条例下AI监管沙盒的设立和运行方式和条件。

这些方式和条件应尽可能支持国家主管当局建立和运行其AI监管沙盒的灵活性，促进创新和监管学习，特别是考虑到参与的中小企业（包括初创企业）的特殊情况和能力。

这些实施法案应包括以下问题的共同主要原则：

a) AI监管沙盒的合格性和选拔；

b) 申请、参与、监控、退出和终止AI监管沙盒的程序，包括沙盒计划和退出报告；

c) 适用于参与者的条款和条件。

7. 当国家主管当局考虑根据本条款设立的AI监管沙盒框架内授权在现实世界条件下进行监督测试时，它们应特别与参与者就此类测试的条款和条件达成一致，特别是为保护基本权利、健康和安全而采取的适当保障措施。在适当的情况下，它们应与其他国家主管当局合作，以确保在整个联盟内保持一致的做法。

第54条

在AI监管沙盒中为开发某些公共利益AI系统进一步处理个人数据

1. 在符合以下累积条件的情况下，AI监管沙盒中为其他目的合法收集的个人数据可用于开发、测试和训练创新AI系统：

(a) 创新的AI系统应由公共机构或其他受公共法或私法管辖的自然人或法人开发，以保障重要公共利益，涉及以下一个或多个领域：

(i) [删除]

(ii) 公共安全和健康，包括疾病预防、控制和治疗以及改善医疗保健系统；

(iii) 保护和改善环境质量，包括绿色转型、气候变化缓解和适应；

(iv) 能源可持续性、交通和移动性；

(v) 提高公共行政和公共服务的效率和质量；

(vi) 网络安全和关键基础设施的弹性。

(b) 处理的数据对于符合第三编第二章的要求是必要的，而这些要求无法通过处理匿名、合成或其他非个人数据有效实现；

(d) 沙盒环境中处理的任何个人数据都处于功能上分离、隔离和受保护的数据处理环境中，仅参与者和授权人员可以访问这些数据；

(e) 沙盒环境中处理的任何个人数据不得被非沙盒参与者的其他方传输、转移或访问，除非这种披露符合欧盟2016/679条例或适用的2018/725条例，并且所有参与者都同意；

(f) 沙盒环境中的个人数据处理不得影响数据主体根据欧盟关于个人数据处理保护的法律所享有的权利，特别是欧盟2016/679条例第22条和欧盟2018/1725条例第24条的规定；

(g) 沙盒环境中处理的任何个人数据都受到适当的技术和组织措施的保护，并在参与沙盒结束后或个人数据达到保留期限时删除；

(h) 沙盒环境中个人数据处理的日志在参与期间保留，除非欧盟或国家法律另有规定；

(i) AI系统的训练、测试和验证过程及其背后的原理的完整和详细描述与测试结果一起作为附件IV的技术文件保存；

1a. 为了预防、调查、侦查或起诉刑事犯罪或执行刑事处罚，包括在执法机构的控制和责任下维护公共安全，AI监管沙盒中的个人数据处理应基于特定的成员国或欧盟法律，并受到与第1段所述相同的累积条件的约束。

2. 第1款不影响欧盟或成员国法律为开发、测试和训练创新AI系统或任何其他法律依据制定数据处理基础的规定，这些规定需符合欧盟关于个人数据处理保护的法律。

第54a条

在AI监管沙盒之外进行高风险AI系统的实际环境测试

1. 根据本条款和实际环境测试计划的规定，附件III中列出的高风险AI系统的提供商或潜在提供商可以进行实际环境测试。

实际环境测试计划的详细要素将在委员会通过的实施法案中规定，这些法案是根据第74(2)条所指的审查程序通过的。

本条款不影响欧盟或成员国关于测试实际环境中的高风险AI系统的相关产品立法。

2. 在产品投放市场或投入使用之前，提供商或潜在提供商可以在自己或与一个或多个潜在用户合作的情况下，在实际环境中进行高风险AI系统测试。

3. 本条款下的实际环境测试不影响国家或欧盟法律可能要求的伦理审查。

4. 只有在满足以下所有条件的情况下，提供商或潜在提供商才能在实际环境中进行高风险AI系统的测试：

(a) 提供商或潜在提供商已制定实际环境测试计划，并将其提交给实际环境测试将在其中进行的市场监管机构所在成员国；

(b) 实际环境测试将在其中进行的市场监管机构在提交后的30天内未对测试提出异议；

(d) 进行实际环境测试的提供商或潜在提供商在欧盟内设立，或者已任命在欧盟内设立的法律代表以进行实际环境测试；

(e) 为实际环境测试目的收集和处理的数据不得转移到欧盟以外的国家，除非转移和处理提供与欧盟法律提供的等效保障；

(f) 实际环境测试的持续时间不超过实现其目标所必需的时间，且在任何情况下不超过12个月；

(g) 因年龄、身体或精神残疾而属于弱势群体的人员得到了适当的保护；

(h) [删除]

(i) 在与一个或多个潜在用户合作进行实际环境测试时，后者已了解与其参与相关的所有方面，并获得了如何使用AI系统的相关信息；提供商或潜在提供商和用户应签订一项协议，明确他们在确保遵守本规定和其他适用的欧盟和成员国法律方面的角色和责任；

(j) 实际环境测试中的AI系统的预测、建议或决策可以有效地撤销或忽略。

5. 任何实际环境测试的对象或其法定代表（视情况而定）可以在不受到任何不利影响且无需提供任何理由的情况下，在任何时候通过撤销其知情同意退出测试。

6. 在实际环境测试过程中发现的任何严重事件都应按照本规定的第62条向国家市场监管机构报告。提供商或潜在提供商应采取立即的缓解措施，或者在缓解措施实施之前暂停实际环境测试，否则应终止测试。提供商或潜在提供商应建立在实际环境测试终止时立即召回AI系统的程序。

7. 提供商或潜在提供商应通知实际环境测试将在其中进行的市场监管机构所在成员国，告知其测试的暂停或终止以及最终结果。

8. 提供商和潜在提供商应根据适用的欧盟和成员国责任法对实际环境测试过程中造成的任何损害承担责任。

第54b条

在AI监管沙盒之外的实际环境测试中获得知情同意

1. 为根据第54a条进行实际环境测试的目的，测试对象应在充分了解以下简洁、清晰、相关且易于理解的信息后，自由同意参加此类测试：

(i) 实际环境测试的性质和目标，以及可能与其参与相关的不便；

(ii) 实际环境测试的进行条件，包括预期的测试对象参与时间；

(iii) 测试对象的权利和保障，特别是拒绝参加和在任何时候撤回实际环境测试的权利，而不会遭受任何不利影响，无需提供任何理由；

(iv) 请求撤销或忽略AI系统的预测、建议或决策的方式；

(v) 根据第54a(4c)条规定的实际环境测试的全欧盟唯一单一识别号码以及提供商或其法律代表的联系方式，以获取更多信息。

2. 知情同意应注明日期并记录，一份副本应提供给测试对象或其法定代表。

第55条

支持运营商，特别是中小企业（包括初创企业）

1. 成员国应采取以下行动：

(a) 在符合资格和选拔标准的范围内，为中小企业（包括初创企业）优先提供AI监管沙盒的访问权限；

(b) 针对中小企业（包括初创企业）的需求，组织特定的宣传和培训活动，并酌情为地方公共当局提供此类活动；

2. 在根据第43条规定设定符合性评估费用时，应考虑中小企业（包括初创企业）的具体利益和需求，根据其规模、市场份额和其他相关指标按比例降低这些费用。

3. 委员会应采取以下行动：

(a) 应AI委员会的要求，提供本条例所涵盖领域的标准化模板；

(b) 开发和维护一个单一信息平台，为全欧盟范围内的运营商提供关于本条例的易于使用的相关信息；

(d) 评估和推广公共采购程序中关于AI系统的最佳实践的融合。

第55a条

特定运营商的豁免

1. 本条例第17条规定的义务不适用于根据欧洲委员会2003/361/EC号建议附件2第2条（3）款定义的微型企业，前提是这些企业没有同一附件第3条所定义的关联企业或关联企业。

2. 第1款不得解释为免除这些运营商履行本条例规定的任何其他要求和义务，包括第9、61和62条规定的要求和义务。

3. 本条例第4b条规定的通用目的AI系统的要求和义务不适用于微型、小型和中型企业，前提是这些企业没有同一附件第3条所定义的关联企业或关联企业。

第六章治理

第一节欧洲人工智能委员会

第56条

欧洲人工智能委员会的设立和结构

1. 设立一个“欧洲人工智能委员会”（以下简称“委员会”）。

2. 委员会由每个成员国的一名代表组成。欧洲数据保护监管局应作为观察员参加。委员会不参与投票的会议。

在与会讨论的问题与他们相关的情况下，委员会可以邀请其他国家和联盟当局、机构或专家参加会议。

2a. 每个代表由其成员国指定，任期3年，可连任一次。

2aa. 成员国应确保其在委员会中的代表：

(i) 在其成员国内具有相关能力和权力，以便积极推动委员会在第58条中规定的任务的实现；

(ii) 被指定为与委员会的单一联系点，适当时，考虑到成员国的需求，作为与利益相关者的单一联系点；

(iii) 有权促进其成员国在实施本条例方面的国家主管部门之间的一致性和协调，包括收集相关数据和信息，以便履行其在委员会中的任务。

3. 成员国指定的代表应以三分之二多数通过委员会的议事规则。

议事规则应特别规定选举程序、任期、主席任务的具体说明、投票方式以及委员会活动及其子组的组织。委员会应设立一个常设小组，作为利益相关者的平台，就与本条例实施相关的所有问题向委员会提供建议，包括制定实施和授权法案的准备。为此，代表AI系统提供商和用户利益的组织（包括中小企业和初创企业）、民间社会组织、受影响者的代表、研究人员、标准化组织、通知机构、实验室和测试设施应受邀参加该小组。委员会应设立两个常设小组，分别作为市场监管机构和通知机构在与市场监管和通知机构相关的问题上的合作与交流平台。

委员会可以视情况设立其他常设或临时小组，以审查特定问题。在适当的情况下，前一段提到的利益相关者可以受邀以观察员身份参加这些小组或这些小组的具体会议。

3a. 委员会的组织和运作应确保其活动的客观性和公正性。

4. 委员会主席由成员国代表之一担任。应主席的要求，委员会应召开会议并按照本条例及其议事规则为委员会的活动准备议程。

第57条

[已删除]

第58条

委员会的任务

为促进本条例的一致和有效实施，委员会应向欧盟委员会和成员国提供咨询和协助。为此，委员会可以特别：

(a) 在成员国之间收集和分享技术和监管专长及最佳实践；

(b) 促进成员国之间的行政实践的协调，包括与第47条所述的符合性评估程序的豁免、第53、54和54a条所述的监管沙盒和实际环境测试的运作有关的事项；

(i) 关于第三章第二节规定的技术规格或现有标准；

(ii) 关于第40和41条所述的采用协调标准或共同规格；

(iii) 关于制定指导文件，包括关于根据第71条规定设定行政罚款的指南；

(d) 就附件三的潜在修订需求向委员会提供建议，同时考虑相关可用证据和最新技术发展；

(e) 在制定本条例的授权或实施法案过程中向委员会提供咨询意见；

(f) 与相关欧盟机构、专家组和网络在产品安全、网络安全、竞争、数字和媒体服务、金融服务、加密货币、消费者保护、数据和基本权利保护等领域进行合作；

(g) 为委员会在制定第58a条所述的指导方面做出贡献并提供相关建议，或要求制定此类指导；

(h) 协助市场监管机构的工作，并在与有关市场监管机构的合作和协议下，促进和支持跨境市场监管调查，包括与可能源于AI系统的系统性风险有关的事项；

(i) 为参与实施本条例的成员国工作人员的培训需求提供评估；

(j) 就人工智能方面的国际事务向委员会提供咨询意见。

第一A节委员会的指南

第58a条

委员会关于本条例实施的指南

1. 应成员国或委员会的请求，或根据其自行决定，委员会应发布关于本条例实际实施的指南，特别是关于：

(i) 第8至15条所述要求的适用；

(ii) 第5条所述的禁止行为；

(iii) 关于实质性修改的实际实施规定；

(iv) 第6条第3款所述统一条件的实际实施，包括附件三中提到的高风险AI系统的示例；

(v) 第52条所述透明度义务的实际实施；

(vi) 本条例与其他相关联盟立法的关系，包括在执行方面的一致性。

在发布此类指南时，委员会应特别关注中小企业（包括初创企业）、地方公共当局以及最可能受到本条例影响的行业的需求。

第二节国家主管当局

第59条

国家主管当局的指定

1. [已删除]

2. 每个成员国应为本条例的目的设立或指定至少一个通知机构和一个市场监管机构作为国家主管当局。这些国家主管当局应组织以保障其活动和任务的客观性和公正性原则。在尊重这些原则的前提下，可以根据成员国的组织需求，由一个或多个指定机构执行这些活动和任务。

3. 成员国应通知委员会其指定或指定的机构。

4. 成员国应确保国家主管当局具备足够的财政资源、技术设备和合格的人力资源，以有效履行本条例下的任务。

5. 在[本条例生效后一年]和随后在第84(2)条所述截止日期前六个月，成员国应向委员会报告国家主管当局的财政资源、技术设备和人力资源状况，以及对其充足性的评估。委员会应将这些信息提交给委员会进行讨论和可能的建议。

6. 委员会应促进国家主管当局之间的经验交流。

7. 国家主管当局可以为本条例的实施提供建议，包括针对中小企业（包括初创企业）的建议。当国家主管当局打算就其他联盟立法涵盖的领域中的AI系统提供指导和建议时，应酌情咨询该联盟立法下的主管国家当局。成员国还可以设立一个中央联系点，以便与运营商进行沟通。

8. 当联盟机构、机构和机构受到本条例的约束时，欧洲数据保护监管局应担任其监督的主管当局。

第七章欧盟高风险AI系统数据库（附件三）

第60条

欧盟高风险AI系统数据库（附件三）

1. 委员会应与成员国合作，建立和维护一个欧盟数据库，其中包含第2段所提到的关于相关运营商和根据第51和54a条规定注册的附件三中列出的高风险AI系统的信息。在设置此类数据库的功能规格时，委员会应咨询AI委员会。

14954/22 RB/ek 158

TREE.2.B LIMITE EN

2. 附件八第一部分列出的数据应由提供商、授权代表和相关用户（视情况而定）在注册时输入欧盟数据库。附件八第二部分1至11列出的数据应由提供商或授权代表根据第51条输入欧盟数据库。附件八第二部分12中提到的数据应根据第51(2)条规定的相关用户提供的信息自动生成。附件八a列出的数据应由潜在提供商或提供商根据第54a条输入数据库。

3. [已删除]

4. 欧盟数据库不得包含个人数据，除非附件八中列出的信息，且不得损害第70条的规定。

5. 委员会应作为欧盟数据库的控制者，为提供商、潜在提供商和用户提供充分的技术和行政支持。

5a. 根据第51条注册的欧盟数据库中的信息应向公众开放。根据第54a条注册的信息仅对市场监管机构和委员会开放，除非潜在提供商或提供商同意使这些信息也向公众开放。

第八章市场后监测、信息共享、市场监管

第一节市场后监测

第61条

提供商的市场后监测和高风险AI系统市场后监测计划

1. 提供商应建立并记录一个与高风险AI系统风险相称的市场后监测系统。

2. 为了允许提供商在其生命周期内评估AI系统是否符合第三章第二节规定的要求，市场后监测系统应收集、记录和分析有关高风险AI系统性能的相关信息，这些信息可以由用户提供，也可以通过其他来源收集。此义务不包括使用AI系统的执法机构的敏感操作数据。

3. 市场后监测系统应基于一个市场后监测计划。市场后监测计划应作为附件四所指的技术文件的一部分。委员会应通过一项实施法案，制定详细的规定，确定市场后监测计划的模板和计划中应包括的要素清单。

4. 对于附件二A部分所指的法律文件涵盖的高风险AI系统，如果已经根据该立法建立了市场后监测系统和计划，则根据该立法准备的市场后监测文件应视为足够，前提是使用第3段所指的模板。

第一段同样适用于附件三第5点所指的高风险AI系统，这些系统是由受到联盟金融服务立法关于其内部治理、安排或流程要求的金融机构投放市场或投入使用的。

第二节严重事件信息共享

第62条

严重事件报告

1. 在联盟市场上投放的高风险AI系统的提供商应向发生此类事件的成员国的市场监管当局报告任何严重事件。

在提供商确定AI系统与严重事件之间存在因果关系或此类关联的合理可能性后，应立即进行此类通知，且无论如何，应在提供商意识到严重事件后不超过15天。

2. 在收到关于严重事件的通知后，相关市场监管当局应通知第64(3)条所述的国家公共当局或机构。委员会应制定专门的指导方针，以促进遵守第1段规定的义务。该指导方针最迟应在本条例生效后12个月发布。

3. 对于在联盟金融服务立法下受到内部治理、安排或流程要求约束的金融机构投放市场或投入使用的高风险AI系统，严重事件的通知应限于第3(44)(c)条所述的事件。

4. 对于作为设备的安全组件或本身就是设备、受(EU) 2017/745和(EU) 2017/746条例管理的高风险AI系统，严重事件的通知应限于第3(44)(c)条所述的事件，并向成员国选择的负责此类事件的国家主管部门报告。

第三节执法

第63条

联盟市场内的AI系统市场监管和控制

1. (EU) 2019/1020条例应适用于本条例涵盖的AI系统。然而，为了有效执行本条例：

(a) 任何关于(EU) 2019/1020条例下的经济经营者的引用都应理解为包括本条例第2条中确定的所有经营者；

(b) 任何关于(EU) 2019/1020条例下的产品的引用都应理解为包括本条例范围内的所有AI系统。

2. 作为履行(EU) 2019/1020条例第34(4)条规定的报告义务的一部分，市场监管当局应向委员会报告本条例下相关市场监管活动的结果。

3. 对于与附件二第A节所列法律文件适用的法律文件相关的高风险AI系统，本条例下的市场监管当局应为根据这些法律文件指定的负责市场监管活动的当局，或者在有正当理由且确保协调的情况下，由成员国确定的另一个相关当局。

本条例第65、66、67和68条所规定的程序不适用于与附件二第A节所列法律文件相关的AI系统，当这些法律文件已经规定了具有相同目的的程序时。在这种情况下，这些部门程序应适用。

4. 对于由联盟金融服务立法规定的金融机构投放市场、投入使用或使用的高风险AI系统，本条例下的市场监管当局应为根据该立法负责这些机构金融监管的相关国家当局，只要投放市场、投入使用或使用AI系统与提供这些金融服务有直接关系。

在有正当理由且确保协调的情况下，成员国可以确定另一个相关当局作为本条例目的下的市场监管当局。根据2013/36/EU指令监管的信贷机构的国家市场监管当局，如果参加由理事会条例第1204/2013号设立的单一监管机制(SSM)，应尽快向欧洲中央银行报告其市场监管活动中发现的任何可能对欧洲中央银行的审慎监管任务有兴趣的信息。

5. 对于用于执法目的的高风险AI系统，附件III第1(a)点所列的系统，只要这些系统用于执法、边境管制、移民、庇护或司法当局的活动，或者根据(EU) 2016/680指令或2016/679条例指定的有管辖权的数据保护监管当局。市场监管活动在任何情况下都不应影响司法当局的独立性，也不应干扰其在司法职能范围内的活动。

6. 如果联盟机构、机构和机构属于本条例的范围，欧洲数据保护监管机构应担任其市场监管机构。

7. 成员国应促进根据本条例指定的市场监管机构与监督联盟协调立法的适用的其他相关国家当局或机构之间的协调，这些立法列在附件II中，或其他可能与附件III中所列的高风险AI系统相关的联盟立法。

8. 在不损害(EU) 2019/1020条例规定的权力的情况下，并且只有在与履行其任务相关且仅限于实现其任务所必需的范围内，市场监管机构应被授权充分接触提供商提供的文件以及用于开发高风险AI系统的培训、验证和测试数据集，包括在适当和受安全保障的情况下，通过应用程序编程接口("API")或其他相关技术和工具实现远程访问。

9. 只有在满足以下累积条件时，市场监管机构才有权访问高风险AI系统的源代码：

a) 访问源代码对于评估高风险AI系统是否符合第三章第二条规定的要求是必要的，并且

b) 基于提供商提供的数据和文件的测试/审计程序和核查已经用尽或证明是不充分的。

10. 市场监管机构获得的任何信息和文件都应按照第70条规定的保密义务处理。

11. 任何自然人或法人，如果认为本条例的规定被违反，都可以向相关市场监管机构投诉。

根据(EU) 2019/1020条例第11(3)(e)和(7)(a)条，投诉应被考虑用于进行市场监管活动，并应按照市场监管机构为此制定的专门程序进行处理。

第63a条

市场监管机构对现实世界测试的监督

1. 市场监管机构应具有能力和权力，以确保现实世界的测试符合本条例。

2. 对于在第54条规定的AI监管沙盒内进行监督的AI系统进行现实世界的测试时，市场监管机构应验证第54a条规定的合规性，作为其对AI监管沙盒的监管职责的一部分。在适当的情况下，这些机构可以允许提供商或潜在提供商在第54a(4)(f)和(g)条规定的条件之外进行现实世界的测试。

3. 如果市场监管机构被潜在提供商、提供商或任何第三方告知严重事件，或者有其他理由认为第54a和54b条规定的条件未得到满足，它可以在其领土上酌情采取以下任何决定：

(a) 暂停或终止现实世界的测试；

(b) 要求提供商或潜在提供商和用户修改现实世界测试的任何方面。

4. 如果市场监管机构已经根据本条款第3款做出决定或已经根据第54a(4)(b)条提出异议，该决定或异议应说明其理由以及提供商或潜在提供商对决定或异议提出质疑的方式和条件。

5. 如果市场监管机构已经根据本条款第3款做出决定，或者已经根据第54a(4)(b)条提出异议，如果适用，它应将理由通知在其他成员国进行AI系统测试的市场监管机构，测试应根据测试计划进行。

第64条

保护基本权利的权力机构

1. [已删除]

2. [已删除]

3. 负责监督或执行联盟法律保护基本权利（包括不歧视权利）的义务的国家级公共机构或组织，涉及附件III中提到的高风险AI系统的使用，应有权在必要时要求并获取根据本条例创建或维护的任何文件，以便在其管辖范围内履行其职责。相关公共机构或组织应通知有关成员国的市场监管当局此类请求。

4. 在本条例生效后3个月内，各成员国应确定第3款中提到的公共机构或组织，并将名单公开。成员国应将名单通知委员会和其他成员国，并保持名单的最新状态。

5. 如果根据第3款提到的文件不足以确定是否违反了旨在保护基本权利的联盟法律义务，第3款中提到的公共机构或组织可以向市场监管当局提出合理请求，要求通过技术手段对高风险AI系统进行测试。市场监管当局应在收到请求后的合理时间内组织测试，并与请求的公共机构或组织密切合作。

6. 根据本条款规定，根据第3款提到的国家级公共机构或组织获得的任何信息和文件应根据第70条规定的保密义务处理。

第65条

处理国家层面风险的AI系统程序

1. AI系统存在风险应理解为在涉及健康、安全或个人基本权利方面，根据(EU) 2019/1020条例第3条第19点定义的产品风险。

2. 如果一个成员国的市场监管当局有充分理由认为AI系统存在第1款中提到的风险，他们应对相关AI系统进行评估，以检查其是否符合本条例规定的所有要求和义务。在发现基本权利受到风险时，市场监管当局还应通知第64(3)条中提到的相关国家级公共机构或组织。相关运营商应根据需要与市场监管当局和第64(3)条中提到的其他国家级公共机构或组织合作。

如果在评估过程中，市场监管当局发现AI系统不符合本条例规定的要求和义务，它应尽快要求相关运营商采取一切适当纠正措施，使AI系统符合规定，撤回市场，或召回AI系统，规定一个期限。

市场监管当局应相应地通知相关通报机构。

(EU) 2019/1020条例第18条应适用于第二段中提到的措施。

3. 如果市场监管当局认为不符合规定的情况不仅限于其国家领土，它应尽快将评估结果和要求运营商采取的措施通知委员会和其他成员国。

4. 运营商应确保在联盟范围内市场上提供的所有相关AI系统采取适当的纠正措施。

5. 如果AI系统的运营商在第2款规定的期限内未采取充分的纠正措施，市场监管当局应采取一切适当临时措施，禁止或限制在其国家市场上提供AI系统，撤回该产品或召回该产品。该当局应尽快通知委员会和其他成员国此类措施。

6. 如第5款所述的通知应包括所有可用的详细信息，特别是识别不符合规定的AI系统所需的信息，AI系统的来源，涉嫌不符合的性质和涉及的风险，采取的国家措施的性质和持续时间以及相关运营商提出的论点。特别是，市场监管当局应指出不符合规定是否由以下一个或多个原因导致：

(-a) 未遵守第5条中提到的人工智能实践的禁止；

(a) 高风险AI系统未满足第III章第2节规定的要求；

(b) 第40和41条中提到的赋予符合性推定的协调标准或共同规范存在缺陷。

(d) 通用目的AI系统未遵守第4a条规定的要求和义务。

7. 除启动程序的成员国的市场监管当局外，其他成员国的市场监管当局应尽快通知委员会和其他国家有关采取的措施和他们掌握的任何其他信息，涉及相关AI系统的不符合规定，以及在与通报的国家措施发生分歧时，提出他们的异议。

8. 如果在收到第5款所述通知后的3个月内，或者在收到关于违反第5条中提到的禁止人工智能实践的通知后的30天内，成员国或委员会没有对成员国采取的临时措施提出异议，该措施应被视为合理。这不会影响根据(EU) 2019/1020条例第18条对有关运营商的程序权利。如果不符合规定是由于违反第5条中提到的禁止人工智能实践，本段中提到的期限应缩短至30天。

9. 然后，所有成员国的市场监管当局应确保对有关AI系统采取适当的限制措施，例如从其市场上撤回产品，不迟延。

第66条

联盟保障程序

1. 如果在收到第65(5)条所述通知后的3个月内，或者在收到关于违反第5条中提到的禁止人工智能实践的通知后的30天内，一个成员国对另一个成员国采取的措施提出异议，或者委员会认为该措施与联盟法律相抵触，委员会应尽快与相关成员国的市场监管当局和运营商进行磋商，并评估国家措施。根据评估结果，委员会应在9个月内（或者在收到第65(5)条所述通知后的60天，如果涉及违反第5条中提到的禁止人工智能实践）决定国家措施是否合理，并将其决定通知相关成员国。委员会还应将此决定通知所有其他成员国。

2. 如果委员会认为相关成员国的市场监管当局采取的措施是合理的，所有成员国的市场监管当局应确保对有关AI系统采取适当的限制措施，例如从其市场上撤回AI系统，不迟延，并相应地通知委员会。如果国家措施被委员会认为不合理，相关成员国的市场监管当局应撤回该措施并相应地通知委员会。

3. 如果认为国家措施是合理的，并且AI系统的不符合规定是由于本条例第40和41条中提到的协调标准或共同规范的缺陷造成的，委员会应适用(EU) 1025/2012条例第11条规定的程序。

第67条

合规的高风险或通用目的AI系统存在风险

1. 如果在进行第65条规定的评估后，一个成员国的市场监管当局发现，尽管高风险或通用目的AI系统符合本条例，但它对人们的健康或安全或基本权利构成风险，那么它应要求相关运营商采取一切适当措施，以确保在市场上销售或投入使用的相关AI系统不再存在该风险，或者在规定的时间内撤回或召回AI系统。

2. 提供商或其他相关运营商应确保在市场监管当局规定的时间内，对所有他们在整个联盟市场上提供的AI系统采取纠正措施。

3. 成员国应立即通知委员会和其他成员国。该信息应包括所有可用的详细信息，特别是识别相关AI系统所需的数据、AI系统的来源和供应链、涉及的风险性质以及采取的国家措施的性质和持续时间。

4. 委员会应尽快与有关成员国和相关运营商进行磋商，并评估所采取的国家措施。根据评估结果，委员会应决定该措施是否合理，并在必要时提出适当的措施。

5. 委员会应将其决定通知有关成员国，并通知所有其他成员国。

第68条

正式不符合规定

1. 如果一个成员国的市场监管当局作出以下任何一项发现，它应要求相关提供商在规定的时间内结束有关不符合规定的情况：

(a) 符合性标志违反了第49条的规定；

(b) 未加贴符合性标志；

(d) 欧盟符合性声明制定不正确；

(e) 如适用，未加贴参与符合性评估程序的指定机构的识别号。

2. 如果第1款所述的不符合规定仍然存在，有关成员国应采取一切适当措施限制或禁止高风险AI系统在市场上销售，或确保其被召回或撤出市场。

第68a条

人工智能领域的联盟检测设施

1. 根据(EU) 1020/2019条例第21条，委员会应指定一个或多个人工智能领域的联盟检测设施。

2. 在不影响(EU) 1020/2019条例第21(6)条规定的联盟检测设施活动的情况下，第1款所述的联盟检测设施还应根据委员会或市场监管当局的要求提供独立的技术或科学建议。

第68b条

独立专家科学小组

1. 应AI委员会的要求，委员会应通过一项实施法案，就创建、维护和资助一个独立专家中央池作出规定，以支持本条例下的执法活动。

2. 专家应根据在人工智能领域的最新科学或技术专长被委员会选定并纳入科学小组，同时充分考虑本条例的要求和义务所涵盖的技术领域以及市场监管当局根据(EU) 1020/2019条例第11条开展的活动。委员会应根据所需需求确定小组中专家的数量。

3. 专家可以承担以下任务：

(a) 应市场监管当局的要求，为其提供建议和支持；

(b) 在不影响市场监管当局权力的前提下，支持跨境市场监管调查，如第58(h)条所述；

4. 专家在执行任务和活动时，应保持公正、客观，并确保所获得的信息和数据的保密性。每位专家都应起草一份利益声明，并向公众公开。委员会应建立制度和程序，积极管理和预防潜在的利益冲突。

5. 成员国可能需要为专家的建议和支持支付费用。费用的结构和水平以及可收回成本的规模和结构应由委员会通过实施法案确定，同时考虑本条例的充分实施目标、成本效益和确保所有成员国有效获取专家的必要性。

6. 委员会应确保成员国及时获得专家的支持，根据需要，并确保根据第68a条规定的联盟检测设施和本条规定的专家所开展的支持活动相结合，高效组织，提供尽可能多的附加值。

第九章行为准则

第69条

自愿应用特定要求的行为准则

1. 委员会和成员国应尽可能促进制定行为准则，以鼓励对除高风险AI系统之外的AI系统自愿应用本条例第三章第2节中规定的一个或多个要求，同时考虑可用的技术解决方案允许应用此类要求。

2. 委员会和成员国应促进制定行为准则，以鼓励对所有AI系统自愿应用特定要求，例如与环境可持续性有关的要求，包括在能源效率编程、为残疾人提供无障碍服务、利益相关者参与AI系统的设计和开发以及基于明确目标和关键绩效指标衡量实现这些目标的多样性发展团队。委员会和成员国还应在适当情况下促进制定适用于用户的自愿行为准则。

3. 行为准则可以由个别AI系统提供商或代表他们的组织或双方制定，包括在用户和任何感兴趣的利益相关者及其代表组织的参与下，或在适当情况下，由用户制定关于他们的义务。行为准则可以涵盖一个或多个AI系统，考虑到相关系统的预期目的相似性。

4. 委员会和成员国在鼓励和促进制定本条规定的行为准则时，应考虑中小企业提供商（包括初创企业）的具体利益和需求。

第十章保密和处罚

第70条

保密

1. 国家主管机关、通知机构、委员会、理事会以及参与本条例实施的任何自然人或法人应根据联盟或国家法律，采取适当的技术和组织措施，确保在执行其任务和活动过程中获得的信息和数据的保密性，特别是保护：

(a) 自然人或法人的知识产权和商业秘密，包括源代码，但本指令第5条所述的关于保护未披露的专有知识和商业秘密（商业秘密）的案件除外。

(b) 本条例的有效实施，特别是为了检查、调查或审计的目的；

(d) 刑事或行政诉讼的完整性；

(e) 根据联盟或国家法律分类的信息的完整性。

2. 在不损害第1款的情况下，国家主管机关之间以及国家主管机关与委员会之间在保密基础上交换的信息不得在未经原始国家主管机关和用户事先协商的情况下披露，当高风险AI系统由执法、边境管制、移民或庇护当局使用时，如果披露会危及公共和国家安全利益。在这种情况下，信息交换的义务不包括与执法、边境管制、移民或庇护当局活动有关的敏感操作数据。

当执法、移民或庇护当局是附件三第1、6和7点所指的高风险AI系统的提供者时，附件四所述的技术文件应保留在这些当局的场所内。这些当局应确保市场监管当局根据第63条第5款和第6款的要求，在请求时立即访问文件或获得其副本。仅持有适当安全许可级别的市场监管当局工作人员才允许访问该文件或其任何副本。

3. 第1款和第2款不影响委员会、成员国及其相关当局以及通知机构在跨境合作背景下进行信息交流和发布警告的权利和义务，也不影响有关各方根据成员国刑事法律提供信息的义务。

第71条

处罚

1. 根据本条例所规定的条款和条件，成员国应制定关于处罚（包括行政罚款）的规定，适用于违反本条例的行为，并采取一切必要措施确保其得到适当且有效的实施。所规定的处罚应具有有效性、相称性和威慑力。在考虑处罚时，应特别关注中小企业提供商（包括初创企业）的规模和利益以及其经济可行性。同时，还应考虑使用AI系统是否属于个人非专业活动。

2. 成员国应尽快通知委员会关于这些规则、措施以及任何后续修订的情况。

3. 对于违反第5条所规定的人工智能实践禁令的任何情况，将处以最高3000万欧元的行政罚款，或者，如果违规者是公司，处以其上一财务年度全球年营业额的6%，以较高者为准。对于中小企业（包括初创企业），这些罚款将不超过其上一财务年度全球年营业额的3%。

4. 对于以下与运营商或通知机构相关的规定的违反，将处以最高2亿欧元的行政罚款，或者，如果违规者是公司，处以其上一财务年度全球年营业额的4%，以较高者为准：-a) 根据第4b和4c条，提供商的义务；

a) 根据第16条，提供商的义务；

b) 根据第23a条，某些其他人的义务；

c) 根据第25条，授权代表的义务；

d) 根据第26条，进口商的义务；

e) 根据第27条，分销商的义务；

f) 根据第29条第1至6a款，用户的义务；

g) 根据第33、34(1)、34(3)、34(4)、34a条，通知机构的要求和义务；

h) 根据第52条，提供商和用户的透明度义务。

对于中小企业（包括初创企业），这些罚款将不超过其上一财务年度全球年营业额的2%。

5. 向通报机构和国家主管部门提供不正确、不完整或误导性信息的回复，将处以最高1亿欧元的行政罚款，或者，如果违规者是公司，处以其上一财务年度全球年营业额的2%，以较高者为准。对于中小企业（包括初创企业），这些罚款将不超过其上一财务年度全球年营业额的1%。

6. 在对每个个案的行政罚款金额作出决定时，应考虑特定情况的所有相关情况，并充分考虑以下因素：

(a) 违法行为的性质、严重程度和持续时间及其后果；

(aa) 违法行为是故意还是过失；

(ab) 运营商为纠正违法行为和减轻可能的不利影响所采取的任何行动；

(b) 是否其他市场监管机构已对同一运营商在其他成员国就同一违法行为实施了行政罚款；

(ba) 是否其他机构已对同一运营商因违反其他联盟或国家法律而实施了行政罚款，当这些违法行为是由同一活动或不作为构成的相关违法行为引起时；

(d) 适用于案件情况的任何其他加重或减轻因素，如直接或间接从违法行为中获得的财务利益，或避免的损失。

7. 各成员国应制定规定，决定是否以及在多大程度上可以对在该成员国设立的公共当局和机构实施行政罚款。

8. 根据成员国的法律制度，行政罚款的规定可以以这样的方式适用，即罚款由有关成员国的有管辖权的国家法院或其他机构实施。在这些成员国中，这些规定的适用应具有相应的效力。

9. 市场监管机构根据本条款行使权力应受到联盟和成员国法律的适当程序保障，包括有效的司法救济和正当程序。

第72条

对联盟机构、代理机构和组织的行政处罚

1. 欧洲数据保护监管机构可以对属于本条例范围内的联盟机构、代理机构和组织进行行政处罚。在决定是否处以行政处罚以及决定每个个案的行政处罚金额时，应考虑特定情况的所有相关情况，并充分考虑以下因素：

(a) 违法行为的性质、严重程度和持续时间及其后果；

(b) 与欧洲数据保护监管机构合作以纠正违法行为并减轻其可能的不利影响，包括遵守欧洲数据保护监管机构对涉及同一事项的联盟机构或组织之前下达的任何措施；

2. 违反第5条所规定的人工智能实践禁令的任何情况，将处以最高50万欧元的行政罚款。

3. 除第5条和第10条规定的要求或义务外，AI系统不符合本条例的任何要求或义务的，将处以最高25万欧元的行政罚款。

4. 在根据本条款作出决定之前，欧洲数据保护监管机构应给予作为欧洲数据保护监管机构进行的程序的主题的联盟机构、代理机构或组织就可能的违法行为发表意见的机会。欧洲数据保护监管机构应仅根据有关各方能够发表意见的要素和情况作出决定。如果有投诉人，应与程序密切联系。

5. 在程序中应充分尊重有关各方的辩护权。他们有权访问欧洲数据保护监管机构的文件，但需在保护个人或企业个人数据或商业机密的合法利益范围内。

6. 本条款规定的罚款所征收的资金应归入联盟的总预算。

第十一章授权权力和委员会程序

第73条

授权权力的行使

1. 授权行使委托行为的权力授予委员会，但须符合本条规定的条件。

2. 第7(1)条、第7(3)条、第11(3)条、第43(5)和(6)条以及第48(5)条所指的授权权力应授予委员会，自[条例生效]起五年期限。

委员会应在五年期满前九个月提交关于授权权力的报告。授权权力将默认延长相同期限，除非欧洲议会或理事会在每个期限结束前三个月表示反对。

3. 欧洲议会或理事会可随时撤销第7(1)条、第7(3)条、第11(3)条、第43(5)和(6)条以及第48(5)条所指的授权权力。撤销决定应终止该决定中规定的授权权力。它应在《欧洲联盟官方公报》或其中规定的较晚日期生效。它不应影响已经生效的任何委托行为的有效性。

4. 委员会一旦通过委托行为，应立即通知欧洲议会和理事会。

5. 根据第7(1)条、第7(3)条、第11(3)条、第43(5)和(6)条以及第48(5)条通过的任何委托行为，只有在欧洲议会或理事会在通知欧洲议会和理事会三个月内未表示异议，或者在该期限届满之前，欧洲议会和理事会都已通知委员会他们不会提出异议时，才能生效。该期限可根据欧洲议会或理事会的提议延长三个月。

第74条

委员会程序

1. 委员会应得到一个委员会的协助。该委员会应属于(EU) No 182/2011条例所规定的意义范围内的委员会。

2. 在提及本条款时，(EU) No 182/2011条例的第5条应适用。

第十二章最终条款

第75条

修订欧洲委员会(EC) No 300/2008法规

在欧洲委员会(EC) No 300/2008法规第4(3)条中，增加以下段落：

“在采纳与欧洲议会和理事会*关于人工智能的法规(EU) YYY/XX [关于人工智能]的法规中定义的人工智能系统的技术规格和程序批准和使用相关的详细措施时，应考虑到该法规第2章第3节的要求。”

__________

* 欧洲议会和理事会法规(EU) YYY/XX [关于人工智能] (OJ …)。”

第76条

修订欧洲联盟(EU) No 167/2013法规

在欧洲联盟(EU) No 167/2013法规第17(5)条中，增加以下段落：

“在采纳与欧洲议会和理事会*关于人工智能的法规(EU) YYY/XX [关于人工智能]的法规中定义的人工智能系统作为安全组件的委派行为时，应考虑到该法规第3章第2节的要求。”

__________

* 欧洲议会和理事会法规(EU) YYY/XX [关于人工智能] (OJ …)。”

第77条

修订欧洲联盟(EU) No 168/2013法规

在欧洲联盟(EU) No 168/2013法规第22(5)条中，增加以下段落：

__________

* 欧洲议会和理事会法规(EU) YYY/XX [关于人工智能] (OJ …)。”

第78条

修订2014/90/EU指令

在2014/90/EU指令第8条中，增加以下段落：

“4. 对于欧洲议会和理事会*关于人工智能的法规(EU) YYY/XX [关于人工智能]的法规中定义的人工智能系统作为安全组件，在根据第1款开展活动以及根据第2款和第3款采纳技术规格和测试标准时，委员会应考虑到该法规第3章第2节的要求。”

__________

* 欧洲议会和理事会法规(EU) YYY/XX [关于人工智能] (OJ …)。”

第79条

对指令（EU）2016/797的修订

在指令（EU）2016/797第5条中，增加以下段落：

“12. 在根据第1款通过关于欧洲议会和理事会*的人工智能系统的授权法案，以及根据第11款通过实施法案时，这些系统是（EU）YYY/XX条例[关于人工智能]中定义的安全组件，应考虑到该条例第三章第2节中列出的要求。

__________

* 欧洲议会和理事会（EU）YYY/XX条例[关于人工智能]（OJ …）。

第80条

对条例（EU）2018/858的修订

在条例（EU）2018/858第5条中，增加以下段落：

“4. 在根据第3款通过关于人工智能系统的授权法案时，这些系统是（EU）YYY/XX条例[关于人工智能]中定义的安全组件，应考虑到该条例第三章第2节中列出的要求。

__________

* 欧洲议会和理事会（EU）YYY/XX条例[关于人工智能]（OJ …）。"

第81条

法规(EU) 2018/1139的修正案

法规(EU) 2018/1139修订如下:

(1)在第17条中增加以下一款:

“3。在不影响第二款的情况下，根据第一款通过实施行为关于人工智能系统的安全组件欧洲议会法规(EU) YYY/XX[关于人工智能]理事会*，该规例第2章第III篇所载的规定须纳入考虑内容。

＿＿＿＿＿＿＿＿＿＿

*法规(EU) YYY/XX[关于人工智能](OJ…)。”

(2)在第19条内增加以下一款:

“4。根据关于人工智能的第1段和第2段通过授权行为时法规(EU) YYY/XX[关于人工智能的]所定义的安全部件的系统，则应考虑该法规第III章第2章中规定的要求账户。”

(3)在第43条内增加下列一款:

“4。根据第一款关于人工智能的实施法案通过时法规(EU) YYY/XX[关于人工智能的]所定义的安全部件的系统，则应考虑该法规第III章第2章中规定的要求账户。”

(4)在第47条内增加以下一款:

“3。根据关于人工智能的第1段和第2段通过授权行为时法规(EU) YYY/XX[关于人工智能的]所定义的安全部件的系统，则应考虑该法规第III章第2章中规定的要求账户。”

(5)在第57条内增加下列一款:“当采用那些涉及人工智能系统的实施法案时法规(EU) YYY/XX[关于人工智能]意义上的安全组件应考虑到该条例第2章第3章规定的要求。”

(6)第58条增加以下一款:“3。根据关于人工智能的第1段和第2段通过授权行为时法规(EU) YYY/XX[关于人工智能的]所定义的安全部件的系统，则应考虑该法规第III章第2章中规定的要求账户。”。

第82条

法规(EU) 2019/2144的修正案

在法规(EU) 2019/2144第11条中，增加了以下段落:“3。根据第2项通过有关人工智能的实施行为时法规(EU) YYY/XX[关于人工智能的]所定义的安全部件的系统欧洲议会和理事会的情报]*，第三章规定的要求，须考虑该规例第2章的规定。

＿＿＿＿＿＿＿＿＿＿

*法规(EU) YYY/XX[关于人工智能](OJ…)。”

第83条

已投放市场或投入使用的AI系统

1. 本条例不适用于已在[本条例第85(2)条所述的实施日期后的12个月内]投放市场或投入使用的大型IT系统组件的AI系统，除非这些法律法案的替换或修订导致相关AI系统的设计或预期目的发生重大变化。在适用的情况下，本条例中规定的要求应在评估附件九所列法律法案建立的大型IT系统时予以考虑。

2. 本条例适用于高风险AI系统（不包括第1款所指的系统），这些系统在[本条例第85(2)条所述的实施日期]之前已投放市场或投入使用，仅在这些系统的设计或预期目的发生重大变化的情况下，自该日起适用本条例。

第84条

评估和审查

1. [已删除]

1b. 委员会应评估附件三清单的修订需求，每24个月进行一次，直至本条例生效期满。评估结果应提交给欧洲议会和理事会。

2. 在[本条例第85(2)条所述的实施日期后的三年内]以及此后每四年一次，委员会应向欧洲议会和理事会提交关于本条例评估和审查的报告。报告应公开。

3. 第2款所述的报告应特别关注以下内容：

(a) 国家主管机构的财务资源、技术设备和人力资源状况，以便有效执行本条例赋予它们的任务；

(b) 各成员国对违反本条例规定的处罚情况，特别是第71(1)条所述的行政罚款。

4. 在[本条例第85(2)条所述的实施日期后的三年内]以及此后每四年一次（如适当），委员会应评估自愿行为准则对促进非高风险AI系统的第III标题，第2章要求以及其他可能适用于AI系统的附加要求（包括环境可持续性方面）的影响和有效性。

5. 为了第1a至4款的目的，委员会、成员国和国家主管机构应根据委员会的要求提供信息。

6. 在进行第1a至4款所述的评估和审查时，委员会应考虑委员会、欧洲议会、理事会和其他相关机构或来源的立场和发现。

7. 如有必要，委员会应提交适当的修订本条例的建议，特别是考虑到技术发展和信息社会进步状况。

第85条

生效和实施

1. 本条例自官方公布之日起第二十天在欧盟官方公报上生效。

2. 本条例自[本条例生效后36个月起]适用。

3. 除第2款另有规定外：

(a) 第三章第四节和第六章自[本条例生效后12个月起]适用；

(b) 第71条自[本条例生效后12个月起]适用。

本条例在所有成员国具有约束力并可直接适用。

[1] 《Artificial intelligence act: Council and Parliament strike a deal on the first rules for AI in the world》https://www.consilium.europa.eu/en/press/press-releases/2023/12/09/artificial-intelligence-act-council-and-parliament-strike-a-deal-on-the-first-worldwide-rules-for-ai/.

[2] 《EU AI Act: first regulation on artificial intelligence》, https://www.europarl.europa.eu/news/en/headlines/society/20230601STO93804/eu-ai-act-first-regulation-on-artificial-intelligence.

[3] 《人工智能法案》问答官方文件：https://ec.europa.eu/commission/presscorner/detail/en/QANDA_21_1683.

[4] Artificial intelligence act, Council’s General Approach, 6 December 2022.

https://data.consilium.europa.eu/doc/document/ST-14954-2022-INIT/en/pdf.

[5] https://www.consilium.europa.eu/en/policies/artificial-intelligence/.

↓ 本文作者信息及联系方式