亚马逊云科技-reInforce保护医疗GenAI

亚马逊云科技-reInforce在AmazonEKS上保护医疗GenAI工作负载

关键字: [yt, Amazon SageMaker, ]

本文字数: 400, 阅读完需: 2 分钟

导读

在一场亚马逊云科技活动上,演讲者阐释了如何利用reInforce在Amazon EKS上保护医疗领域的生成式人工智能(GenAI)工作负载。演讲者探讨了医疗保健领域生成式AI工作负载所面临的威胁,如模型劫持、数据投毒和隐私违规等。重点介绍了亚马逊云科技服务(如Amazon EKS、Amazon SageMaker和亚马逊云科技reInforce)如何加固容器镜像、最小化攻击面、实现安全容器编排,并确保和维护医疗保健领域生成式AI工作负载的合规性。

演讲精华

以下是小编为您整理的本次演讲的精华，共100字，阅读时间大约是0分钟。

在当今医疗保健领域,生成式人工智能(GenAI)的应用日益广泛。亚马逊云科技(亚马逊云科技)致力于为客户提供安全可靠的GenAI解决方案。本次演讲将重点介绍如何在Amazon Elastic Kubernetes Service (Amazon EKS)上保护医疗GenAI工作负载。

首先,值得关注的是亚马逊云科技客户在医疗保健领域中GenAI的几种常见应用场景。部分客户利用Amazon Web Services Health Scribe服务,可自动根据医患对话生成临床记录。另有客户使用SageMaker从Hugging Face导入预训练的基础模型,然后进行必要的微调。此外,客户还使用Amazon Pharmacy创建基于检索增强生成的问答聊天机器人。同时,一些客户分析来自开放数据库(如癌症影像档案库和影像数据共享平台)的大型影像数据集,借助机器学习模型进行分析。后文将以智能健康助理为例,详细阐述如何在Amazon EKS上保护GenAI工作负载。

在探讨GenAI工作负载面临的威胁时,演讲者采用了STRIDE框架,从伪造(Spoofing)、篡改(Tampering)、否认(Repudiation)、信息泄露(Information Disclosure)、拒绝服务(Denial of Service)和权限提升(Elevation of Privilege)六个方面进行了分析。

伪造威胁指虚假身份认证,可能导致模型被劫持,从而生成虚假内容、传播错误信息或实施社会工程学攻击。为缓解此类风险,可在Kubernetes层面通过基于角色的访问控制(RBAC)和服务账户实施最小权限原则,在亚马逊云科技层面则利用身份和访问管理(IAM)的验证权限机制。同时,Amazon CloudTrail可提供审计日志,确保身份认证行为的可审计性。

篡改威胁指有意将恶意数据引入模型训练过程,影响模型的预期行为。为防范此类风险,可在Kubernetes层面使用开放策略代理(OPA)或Kube-bench等策略即代码工具,确保部署的镜像与开发人员构建的镜像一致,并通过Amazon Inspector等工具扫描镜像漏洞。

否认威胁指虚假声明和操纵行为,如模型窃取或侧信道攻击。建议实施强大的监控和可观测性,利用Amazon CloudWatch和OpenSearch等服务收集应用程序和基础设施日志,以提供可追溯的审计线索。

信息泄露威胁指机密性受损,如模型或数据泄露。攻击者可能试图利用基础镜像或应用程序代码中的漏洞,获取模型或底层数据。为保护数据机密性,应加密持久化存储中的密钥和机密信息,可利用亚马逊云科技密钥管理服务和Amazon Secrets Manager等服务实现。

拒绝服务威胁指资源耗尽,通常发生在网络层面。一个关键风险是对抗性攻击,攻击者可能操纵模型输入数据,导致模型产生意外或有害的输出。如果GenAI应用于敏感领域,这可能会中断医疗保健运营或危及患者护理。为此,应采取网络策略和子网隔离等预防措施,并利用Amazon Shield和亚马逊云科技网络防火墙等服务进行保护。

权限提升威胁指授权泄漏,需要运行时控制。一旦发生此类风险,可能会损害组织声誉,甚至引发法律诉讼。应设置资源限制、减小节点影响范围,并使用Amazon GuardDuty和Amazon Config等服务进行运行时监控和自动修复。

接下来,演讲者介绍了在Amazon EKS上部署GenAI工作负载的架构模式。该架构涵盖了从模型实验到推理的完整流程。在模型实验阶段,可以使用Jupyter Notebook进行单租户或多租户共享的模型开发。在模型开发阶段,可以使用Ray等开源分布式框架。对于推理环节,架构提供了带有加速驱动程序的计算节点,如Inferentia节点或Nvidia加速计算选项。

无论是模型实验、开发还是推理,数据流和存储层都是关键环节,需要实施数据保护措施。以智能健康助理为例,首先需要选择合适的大型语言模型(LLM),如生物医学领域的Biomedical Mistral 7B模型。该模型基于Mistral 7B,使用PubMed Central数据进行训练,支持10种不同语言。

在Amazon EKS上部署此类LLM时,需要创建代码节点组以提供Kubernetes集群所需的核心实用程序,包括用于创建Ray集群的Kubernetes操作符,以及用于按需提供基础设施的Just-In-Time节点缩放器Carpenter。Ray集群由头节点和工作节点组成,头节点将指令分发到工作节点上的加速驱动程序。通过Carpenter,可以按需提供Inferentia节点等推理工作节点。

部署完成后,可以使用FastAPI等Python应用程序公开API接口,让最终用户发送推理查询。同时,可以使用Gradio等Web UI工具提供友好的用户界面。此外,还可以通过入口控制器和网络负载均衡器公开API服务。

总的来说,亚马逊云科技为客户提供了全面的解决方案,帮助他们在Amazon EKS上安全高效地部署和运行医疗GenAI工作负载。“Data on EKS”计划提供了成熟的蓝图,涵盖训练、推理、分析、流处理等多种工作负载模式,其中就包括Biomedical Mistral 7B模型的推理模式。亚马逊云科技欢迎更多客户与其账户团队接洽,探讨在亚马逊云科技上保护和优化GenAI工作负载的最佳实践。

总结

确保在医疗保健领域部署生成式人工智能工作负载的安全性是一个关键问题,因为94%的高管认识到在部署人工智能解决方案之前确保其安全性的重要性。本次演讲探讨了生成式人工智能在医疗保健领域的各种用例,例如根据患者与临床医生的对话生成临床记录、针对特定任务对预训练模型进行微调、开发用于问答的聊天机器人,以及利用机器学习模型分析影像数据。

为了评估潜在的威胁环境,演讲采用了STRIDE框架,强调了伪造或虚假身份的风险,这可能导致模型被劫持,并进行恶意活动,如生成虚假内容、传播虚假信息或实施社会工程攻击。演讲将详细讨论缓解策略,重点是加固容器镜像、最小化攻击面,并在Amazon EKS上实现安全的容器编排。

本次演讲旨在为在EKS环境中实现和维护生成式人工智能工作负载的合规性提供实用建议,使医疗保健组织能够利用人工智能的强大功能,同时确保强大的安全性和战略成果的遵从性。通过解决这些关键问题,本次演讲将使与会者能够充分发挥生成式人工智能在医疗保健领域的潜力,同时降低风险并保护敏感数据。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。