专题·大模型安全 | 生成式人工智能的内容安全风险与应对策略

正如一枚硬币的两面，生成式人工智能大模型（以下简称“生成式大模型”）在助力内容生成的同时也潜藏风险，成为虚假信息传播、数据隐私泄露等问题的温床，加剧了认知域风险。与传统人工智能（AI）相比，生成式大模型特有的预训练、微调、上下文、提示和思维链等新型学习范式，使其输出内容蕴含的风险更加复杂与多样化。面对新问题、新挑战，传统的内容安全治理方法与工具显现出明显的局限性，亟需探索新的治理策略和技术方法，以确保在大模型时代能够有效管理内容安全风险。

一、洞察风险：生成式大模型内容合规挑战及成因

生成式大模型在内容生成过程中所面临的风险，根源深植于训练数据的内在缺陷与技术实现的局限性。训练数据的偏差、不完整性和污染，都影响了模型的认知与学习过程。技术上的局限性，如算法设计的不完善和模型架构的固有缺陷等，也为风险的滋生提供了土壤。这些因素限制了模型对复杂情境的理解能力，增加了误判与误导性输出的可能性。同时，外部环境的恶意利用更是雪上加霜，加剧了虚假、有害或攻击性等内容的生成。由于大部分生成式大模型的内容合规检测机制过于直接和简单，因此在面对多轮对话、设定场景、陷阱钓鱼以及单项和多项选择等复杂场景时，模型暴露出更多内容安全风险与潜在威胁，亟需进一步优化和强化。

（一）价值观与技术深度互嵌带来意识形态风险

在人类与生成式大模型的双向互动中，生成内容的意识形态风险主要源自其训练所依赖的海量语料，特别是那些潜藏错误政治导向、不良意识形态、有害或极端信息的未经筛选数据。在全球意识形态斗争日益严峻的背景下，受到美国等西方意识形态的影响，无形中营造了一种特定的关于大模型的舆论氛围，潜移默化地影响公众的价值观。若这一趋势任其发展，可能会导致公众对美国等西方价值观的认同与依附，削弱国家治理的效能，威胁党和国家在意识形态领域的主导权和主动权。主流意识形态的影响力被削弱时，还会影响人的政治判断和政治选择，对国家安全构成潜在威胁。当前，一些生成式大模型厂商为规避风险，已设置意识形态等违规关键词、敏感词过滤机制，但效果相对有限。根据《中文大模型安全基准双轮测评第 1 期报告》，对国内主流大模型核心价值观的评测显示，当评估语境从中文切换至英文或其他外语时，大模型展现出的意识形态风险更加明显。这一现象与全球数据训练集中中文语料的极低比例（仅占 1.3%）有着直接关联。由于英文语料主要来自美国和西方发达国家，对中国文化及价值观的准确理解存在明显的局限性。这种文化和语言上的“隔阂”不仅导致生成的英文内容与中国意识形态脱节，而且在全球化的背景下，可能进一步加剧意识形态领域的分歧与冲突风险。

（二）使用门槛降低加剧虚假信息制造与传播风险

生成式大模型的快速发展使用门槛显著降低，增加了制造与传播虚假信息的风险隐患。这些模型具备强大的文本、图像和视频生成能力，为虚假信息的制造与传播