【技术观点】AI大语言模型10大安全风险的思考

大模型应用已经真实来到我们每个人身边，在自然语言处理、图像识别、语音处理等领域展现出了前所未有的能力，影响着各行各业的发展。

随着大模型应用的日益广泛，其安全问题也变得愈发重要。大模型训练需要大量数据，可能包含敏感信息（如个人信息、商业秘密等），造成信息泄漏；攻击者可以通过精心设计的输入（对抗性样本）欺骗AI模型，导致错误的输出，对自动驾驶、医疗诊断等构成严重威胁；大模型还可能被用于生成虚假信息、传播谣言、网络欺诈等恶意活动。

2023年8月，国家网信办等联合发布的《生成式人工智能服务管理暂行办法》正式实施，强调了大语言模型安全的重要性，防止潜在的隐私泄漏、违法犯罪行为。

《OWASP大语言模型应用程序十大风险》报告，对大语言模型安全给出了详细指南，让我们逐条解读：

1

提示词注入

攻击者采用绕过 过滤器或构造提示词的方法，操控大语言模型（LLM），使其执行“注入”操作，进而导致数据泄漏或其他安全漏洞。

防范措施

1）实施严格的输入验证，拒绝或净化恶意输入。

2）使用上下文感知的过滤器，检测并阻止可疑提示词。

3）定期更新LLM，增强其对恶意输入的识别能力。

4）监控记录所有LLM交互，以便检测分析潜在的注入尝试。

2

数据泄漏

LLM可能无意中在回复时泄漏敏感信息或专有算法。

防范措施

1）严格进行输出过滤，通过上下文感知限制恶意输入，防止LLM泄漏敏感数据。

2）通过差分隐私技术或数据匿名化，降低LLM对训练数据的记忆与过度拟合。

3）定期评估数据暴露面，检查LLM响应内容，避免无意泄漏。

4）事前加强数据安全防护，事中监控模型交互，事后通过记录日志回溯分析数据泄漏事件。

3

不完善的沙盒隔离

LLM与其他关键系统或数据存储隔离不充分，可能潜在利用、越权访问或意外操作敏感资源。

防范措施

1）选择完善的沙箱技术，使LLM与其他关键系统资源独立。

2）限制LLM对敏感资源的访问，确保操作权限为最低限制且在安全路径内。

3）定期审核并检查沙箱的完整性和安全性。

4）监控LLM的所有交互，预先分析潜在的沙箱问题。

4

非授权代码执行

LLM可能成为攻击者在底层系统执行恶意代码或命令的工具。

防范措施

1）实施严格的输入验证和清理流程，防止LLM响应恶意注入。

2）确保沙箱环境的安全性，限制LLM的操作权限以及与底层系统的交互能力。

3）定期进行安全审计，避免越权或攻击面暴露。

4）监控系统日志，检测和分析未经授权的系统接口暴露，以便及时止损。

5

SSRF（服务器端请求伪造）漏洞

LLM可能被攻击者利用去访问受限资源，出现SSRF漏洞。

防范措施

1）进行输入验证和过滤，拒绝白名单外的所有输入。

2）进行内部访问控制，限制LLM直接访问内部资源，访问外部资源时通过代理服务器中转。

3）定期进行漏洞扫描和安全评估，及时修补发现的漏洞，也包括SSRF漏洞。

4）实施详细的日志记录和监控，及时发现并响应潜在的SSRF攻击行为。

6

过度依赖LLM生成的内容

过度依赖LLM生成的内容，可能导致信息错误、结果错误。

防范措施

1）人工审查确保内容的适用性，通过其他来源验证信息准确与否。

2）采用多样化数据源和信息来源，确保内容语法正确、逻辑一致。

3）向用户传达生成内容的局限性，提醒其保持怀疑态度。

4）建立反馈机制，保障信息逐渐完善，生成内容作为人类知识的输入补充。

7

人工智能未充分对齐

LLM的目标和行为可能与预期用例不一致，导致不良后果。

防范措施

1）在设计开发阶段，明确定义LLM的目标和预期行为。

2）建立多学科团队和审查机制，从多个视角评估AI系统可能产生的影响，减少偏差及风险。

3）确保使用数据的质量多样化，能够代表广泛的人群和情景，避免数据偏见与不完整。

4）实施有效的监控反馈机制，定期评估AI系统的表现与影响，及时发现修正任何不对齐行为，确保系统持续符合人类的价值和意图。

8

访问控制不足

未正确实施访问控制，可能允许未授权用户访问或操作LLM。

防范措施

1）遵循最小权限原则，限制用户或程序只能访问所需的资源和数据。

2）强制实施强密码策略和多因素认证，确保只有授权用户能够访问系统和敏感数据。

3）根据数据敏感性和访问需求，将访问权限控制在特定网络区域内，减少不必要的访问控制风险和暴露面。

4）建立全面的监控与日志记录机制，记录用户对系统的访问行为，可及时发现异常行为并采取应对措施。

9

错误处置不当

错误消息或调试信息可能向攻击者泄漏敏感内容。

防范措施

1）实施恰当的错误处置机制，确保正确地捕获、记录和处理错误。

2）定制通用错误消息，避免泄漏敏感内容。

3）定期审查错误日志，修复问题和漏洞，避免安全风险影响系统稳定性。

10

训练数据投毒

攻击者恶意操纵训练数据，向LLM引入危及模型安全性、有效性或伦理性的后门、漏洞与偏见。

防范措施

1）对数据源可信度进行验证，确保训练数据的来源可信。

2）将数据用于训练之前，进行充分的预处理和清理，包括检测和删除异常值、错误标记数据等。

3）通过异常检测技术发现潜在的异常行为，辅助识别和过滤投毒数据。

4）定期对训练数据和模型输出进行偏差与质量分析。

5）实施数据访问控制和审计，防止未经授权的数据修改。

除OWASP公布的十大风险外，大模型应用还面临如下挑战：

**个人隐私泄漏：**大模型可能需要大量个人数据进行训练和优化，这些数据如果泄漏或不当使用，会对个人隐私造成严重威胁。

**歧视性结果：**如果训练数据不足或不平衡，大模型可能产生偏见或歧视性结果，导致不公平的决策与推荐。

**安全漏洞：**大模型本身可能存在安全漏洞，被攻击者利用进行数据窃取、模型篡改或其他形式攻击。

**社会影响：**大模型的广泛应用可能会对社会产生深远影响，产生工作岗位变动、信息可信度下降等问题。

**透明度和解释性：**大模型通常是复杂的黑盒系统，其决策过程难以解释。缺乏透明度可能导致用户对模型决策的不信任。

**环境影响：**训练大模型需要大量的计算资源，导致能源消耗与碳排放，加剧环境问题。

**滥用风险：**大模型可能被恶意使用，包括生成虚假信息、进行欺诈等，导致制造混乱、操纵市场或扰乱公共秩序。

综上所述，大模型是人工智能的发展趋势和未来，在技术上带来了重大进步和广阔前景，但其应用也伴随着一系列复杂的风险和挑战，需要各行业在开发使用过程中谨慎思考、不断优化。