FDA发布人工智能/机器学习行动计划

FDA发布人工智能/机器学习行动计划

FDA于近期发布了第一个“基于人工智能/机器学习(AI/ML)的医疗器械软件行动计划”该行动计划，该行动计划描述了一种周全的方法，使机构能对基于AI/ML的医用软件进行更好的监督。
“该行动计划概述了FDA对基于AI / ML的SaMD后续加强监督的步骤，”医疗器械和辐射健康中心（CDRH）的数字健康卓越中心主任Bakul Patel说道：“该计划概述了基于全产品生命周期监督的整体方法，进一步挖掘这些技术提供的安全有效软件功能的潜力，从而提高患者接受护理的质量。

该行动计划概述了FDA将会采取5项行动：
1、进一步制定建议的监管框架，包括发布有关预定变更控制计划的指导原则草案（对于软件逐步学习）；
2、支持机器学习质量管理规范的发展，以评价和改进机器学习算法；
3、促进以患者为中心的方式，包括器械对用户的透明性；
4、开发用于评价和改进机器学习算法的方法；
5、推进真实世界性能监控试点。

AI/ML行动计划是关于2019年4月发布的讨论文件《人工智能/机器学习软医疗器械软件修改的拟议监管框架》(https://www.fda.gov/media/122535/download)中，对收到的利益相关者的反馈做出的回应。

计划内容如下：

1、 针对基于AI / ML的SaMD的制定的监管框架
我们听到：利益相关者为进一步开发基于AI / ML的SaMD的拟议监管框架提供了许多建议，包括讨论文件中所述的预定变更控制计划。
我们将会：更新有关基于AI / ML的SaMD的拟议框架，包括发布有关预定变更控制计划的指导原则草案。

讨论文件提出了的基于AI / ML的SaMD修改框架是依靠“预定变更控制计划”的方法。如上所述，SaMD预规格（Pre-Specifications ,SPS）描述了制造商打算通过学习来改变的方面，而算法更改协议（Algorithm Change Protocol, ACP）则说明了在保持安全有效的同时算法将如何学习和改变。利益相关者支持机构促进算法的变化和改进，许多开发人员都热衷于主动与机构就未来对器械修改的计划进行互动。利益相关者提供了关于SPS / ACP基本要素的特定反馈，以支持SaMD及其相关算法随时间变化时的安全性和有效性。

除了收到有关SPS和ACP的评论外，在其它方面，大家普遍同意讨论文件中提出的AI / ML软件器械的修改类型是相关且合适的。此外，该机构还收到了有关“预定变更控制计划”的“重点审查”的内容、流程和时间线的问题和建议。

FDA致力于在讨论文件中提出的框架开发方面取得进一步的进展。基于团体对“预定变更控制计划”的强烈兴趣，机构打算发布该方面的指导原则草案以征询公众意见。该指导原则草案将包括在应属于SPS和ACP支持AI / ML SaMD算法的安全性和有效性的建议。机构将利用基于AI / ML的SaMD讨论文件上获得的单据输入以及近期的提交经验。我们的目标是在2021年发布该指导原则草案。其它方面的发展将包括：确定该框架下合适的修改类型，以及针对重点审查的细节，包括提交/审查过程和提交的内容。

2、 机器学习质量管理规范
我们听到：利益相关者对机器学习质量管理规范（GMLP）的主意和重要性提供了强有力的支持，有人呼吁FDA通过达成共识的标准和其它团体倡议，来促进协调GMLP的发展。
我们将会：促进机器学习质量管理规范的发展。

讨论文件使用术语机器学习质量管理规范（GMLP）来描述一系列AI / ML最佳做法（例如，数据管理，特征提取，训练，可解释性，评价 和归档），类似于软件工程或质量体系管理规范。这些做法的发展和采用不仅对于指导行业和产品开发很重要，而且对于制造商遵守公认的最佳做法和/或标准，以及监督这些复杂的产品也很重要。迄今为止，已经做出了许多努力来说明可能构成GMLP的标准和最佳实践，包括后续提到的内容。利益相关者对GMLP的想法和重要性提供了有力的支持。

鉴于对GMLP的需求，机构一直积极参与与其发展有关的众多努力，包括标准化工作和协作团体。例如，FDA与电气和电子工程师学会（IEEE）P2801人工智能医疗器械工作组以及国际标准化组织/联合技术委员会1 /小组委员会42（ISO / IEC JTC 1 / SC 42）-人工智能保持沟通;并参加了医疗器械进步协会（AAMI）/英国标准协会（BSI）关于医疗技术中AI的提提议。今年，FDA正式成为Xavier AI World Consortium合作团体和Pathology Innovation协作团体的成员，除了参与协作团体之外。机构还参加了国际医疗器械监管者论坛（IMDRF）人工智能医疗器械（AIMDs）工作组。

作为行动计划的一部分，FDA将继续致力于在这些团体中工作，以促进达成共识性成果，这对于基于AI / ML的技术的开发和监督将是最有效的。为了符合FDA对医疗器械网络安全可靠方法的长期承诺，将与FDA的医疗器械网络安全计划(https://www.fda.gov/medical-devices/digital-health-center-excellence/cybersecurity)密切合作。

3、 以患者为中心，向用户提升透明度。
我们听到：利益相关者呼吁与FDA进一步讨论基于AI / ML的技术如何与人互动，包括其对用户和患者的透明度。
我们将会：在机构最近召开的有关基于AI / ML的器械的患者参与咨询委员会会议之后，我们的下一步将是举行一次公开研讨会，讨论如何通过器械标签提高用户透明度并增强对基于AI / ML的器械的信任。

机构承认，基于AI / ML的器械有独特的考虑因素，因此有必要采取积极的以患者为中心的方法进行开发和应用，并考虑到有些问题，包括可用性，公平性，信任和责任感。FDA解决这些问题的方式之一是通过提高这些器械对用户乃至更广泛的患者对设备功能的透明度。促进透明度是以患者为中心的关键方面，我们认为这对于基于AI / ML的医疗器械尤为重要，因为AI / ML的医疗设备可能会随着时间的推移而学习和变化，并且可能会包含一定程度的不透明性算法。

许多利益相关者表达了基于AI / ML的器械标签的难点，以及制造商需要清楚地描述用于训练算法的数据、其输入的相关性、所采用的逻辑（如可能）、其输出内容担当的角色，以及器械性能的证据。

该机构致力于支持以患者为中心的方法，包括需要制造商就基于AI / ML的器械的功能向用户透明化，以确保用户了解这些器械的受益，风险和局限性。为此，在2020年10月，机构召开了一次患者参与咨询委员会（PEAC）会议，会议专门讨论了基于AI / ML的器械，以便让患者了解什么因素会影响他们对这些技术的信任。机构目前正在汇编本次PEAC会议期间收集的意见；我们下一步的建议是举行一次公开研讨会，来分享经验，并从更广泛的团体中获得有关器械标签如何支持用户透明性的意见。我们打算考虑使用这些意见来确认FDA建议制造商在基于AI / ML的医疗器械标签中包含的信息类型，以支持对用户的透明度。

4、 与算法偏差和鲁棒性相关的监管科学方法
我们听到：利益相关者需要了解对改进评价和解决算法偏差并提高算法鲁棒性的方法。
我们将会：支持监管科学方面的努力，以开发用于评价和改进机器学习算法的方法，包括用于识别和消除偏差以及评价和提高算法耐性的方法。

偏差和可概括性并不是基于AI / ML的器械独有的问题。鉴于许多AI / ML算法功能的不透明性，以及我们期望这些器械在医疗保健中发挥的巨大作用，对于基于AI / ML的产品，这些问题显得尤为重要。由于AI / ML系统是使用历史数据集中的数据来开发和训练的，因此它容易产生偏差-并容易反映数据中存在的镜像偏差。众所周知，医疗保健的数据提供会因人族，种族和社会经济地位等因素而有所不同。因此，我们的医疗保健系统中存在的偏差可能会无意中引入算法中。机构认识到令医疗器械适合种族和族裔多样化的预期患者群体至关重要，并认识到需要先进方法来识别和改进机器学习算法。这包括用于识别和消除偏差的方法，以及这些算法在承受不断变化的临床输入和状况时的鲁棒性。

FDA支持许多监管科学研究，以开发上述这些方法来评价基于AI / ML的医用软件。目前正在通过与领导者的合作进行这项工作，研究人员包括位于加利福尼亚大学旧金山分校（UCSF），斯坦福大学和约翰·霍普金斯大学的监管科学与创新卓越中心（CERSI）。我们将继续发展和扩大这些监管科学方面的工作，并在我们继续努力改进这些新颖产品的评价和开发方面，分享我们的经验教训。

5、 真实世界性能（RWP）
我们听到：利益相关者需要了解AI/ML软件在真实世界性能(RWP)监视的清晰度。
我们将会：与正在尝试基于AI / ML的 SaMD的真实世界性能流程的利益相关者合作。

讨论文件描述了以下概念：要完全采用总产品生命周期（TPLC）方法来监督基于AI / ML的SaMD，可以通过收集和监视实际数据来支持对这些SaMD应用程序的修改。收集有关SaMD实际使用的性能数据可以使制造商了解其产品的使用方式，确定改进的方法以及对安全或有效性问题做出积极回应。现实世界中的数据收集和监控是制造商可以利用的重要机制，可减轻基于AI / ML的SaMD修改所涉及的风险，以支持在评估特定上市提交内容时的受益风险特征。

利益相关者提出了许多问题，包括：在现场测量AI / ML软件器械的性能时适合利用哪些参考数据？每个利益相关者应执行什么程度的监督？应向机构提供多少数据，以及多久提供一次？如何验证和测试算法，模型和声明？最终用户的反馈意见如何纳入基于AI / ML的SaMD的训练和评价中？总体而言，利益相关者的反馈表明在这一领域需要确认和指导。

作为本行动计划的一部分，机构将通过与自愿的利益相关方合作，支持对真实世界性能进行监视的试点。这将与其它正在进行的着重于使用真实世界数据的FDA项目协调完成。这项工作旨在帮助生物相容性FDA开发一个框架，该框架可用于真实世界中基于AI / ML的SaMD的相关RWP参数和度量的无缝收集和验证。此外，进行的评价作为这些工作的一部分可用于确定阈值和性能评价，这些阈值和性能评价是基于AI / ML的SaMD的RWP关键的指标，包括可用于主动响应安全和/或可用性问题，以及从最终用户那里获得反馈。

结论：
FDA非常感谢与基于AI / ML的医用软件监管方法的相关反馈。本文档中描述的AI / ML软件作为医疗器械行动计划是直接针对此类反馈而创建的，旨在作为一种多管齐下的方法来进一步推进机构对这些技术的监管。利益相关者对于这项工作的持续参与至关重要，这将通过器械与放射健康中心最近公布的“数字健康卓越中心”进行协调。

总而言之，作为本计划的一部分，机构着重强调了以下预期的行动和目标：
1、对基于AI / ML的SaMD讨论文件中提出的拟议监管框架进行更新，包括发布《预定变更控制计划指导原则草案》。
2、通过FDA进一步参与协作社区和达成共识标准，制定工作，促进FDA对机器学习管理规范（GMLP）协调发展。
3、通过继续主持基于AI / ML器械对用户角色透明度的讨论，支持以患者为中心的方法。以2020年10月的患者参与咨询委员会（PEAC）为基础，增加患者对AI / ML技术的信任，并举办了关于医疗器械标签的公开研讨会，以提高基于AI / ML的器械对用户的透明度。
4、支持监管科学方面的努力，开发用于评价和改进机器学习算法的方法，包括识别和消除偏差，以及这些算法在承受不断变化的临床输入和条件下的鲁棒性和适应性。
5、与利益相关者和其它FDA计划协作，推进真实世界性能试验，进一步明确基于AI/ML的SaMD的真实世界证据程序。