AI大模型专题：OWASP大语言模型应用程序十大风险V1.0

今天分享的是AI大模型系列深度研究报告：《AI大模型专题：OWASP大语言模型应用程序十大风险V1.0》。

（报告出品方：OWASP）

报告共计：14页

LM01:2023_ 提示词注入

描述：提示词注入包括绕过过滤器或者通过精心构造的提示词来操控大语言模型（LLM）使得该模 型忽略先前的指令或者执行意外操作。这些漏洞导致数据泄漏、未经授权的访问或者其他安全漏 洞等意想不到的后果。

常见提示词注入漏洞：精心构造能够操纵大语言模型以暴露敏感数据的提示词。利用特定的语言模式或者词元来绕过过滤器或者限制。利用大语言模型的分词或者编码机制的弱点。利用误导性上下文来误导大语言模型执行意外操作。

如何防范：对用户提供的提示词进行严格的输入校验和净化。使用上下文感知过滤器和输出编码来防止提示词操作。定期更新和微调大语言模型以提高其对于恶意输入和边界用例的理解能力。监视和记录大语言模型的交互以检测和分析潜在的提示词注入尝试。

攻击场景示例 ：

场景 1-攻击者精心构造一个提示词发起请求，并让模型认为该请求是合法的，从而欺骗大语言 模型包括用户凭证或者内部系统详细信息等敏感信息。

场景 2 -恶意用户通过利用特定的语言模式、词元或者编码机制来绕过内容过滤器，从而允许该 用户执行那些本应被阻止的操作。

LLM02:2023_ 数据泄漏

描述：当大语言模型通过响应恶意请求意外泄漏敏感信息、专有算法或者其他机密细节时，就会发 生数据泄漏。这可能导致未经授权访问敏感数据、窃取知识产品、侵