处罚案例|生成式人工智能大语言模型不备案后果

一、大模型不备案处罚案例

7月22日，重庆网信部门通报2024年上半年查处的网上各类违法违规行为，其中涉及3起违规从事生成式AI服务的案例。

1、灵象智问AI

针对“灵象智问AI”“重庆哨兵拓展迷”等网站未经安全测评备案、违规提供生成式人工智能服务问题，依法对运营主体开展执法约谈，责令立即停止相关服务；目前官网显示“无法访问”，微信公众号及视频号均无任何内容。

2、蓉城工作室

对未经安全评估上线提供Chat-GPT生成式人工智能信息服务的“南川区蓉城网络科技工作室”依法开展执法约谈，责令立即关停相关服务。

“重庆哨兵拓展迷”及“南川区蓉城网络科技工作室”未检索到官方网站及公众号。

3、“开山猴”AI写作网站

近日，九龙坡区网信办依法对属地“开山猴”AI写作网站运营主体重庆初唱科技有限公司未尽到审核管理义务、履行主体责任不到位的行为作出行政处罚。

经查，该企业运营的“开山猴AI写作大师”网站违规生成法律法规禁止的信息，未尽到主体责任义务，违反了《中华人民共和国网络安全法》《生成式人工智能服务管理暂行办法》等相关法律法规。九龙坡区网信办依据《中华人民共和国网络安全法》第六十八条的规定，给予其行政警告处罚，并责令该公司限期全面整改，加强信息内容审核，健全信息内容安全管理相关制度，暂停网站信息更新及AI算法生成式写作功能15日。

该公司负责人表示，将严格按照整改通知要求，即时做好整改，持续加强互联网法律法规学习，坚持依法办网。

此前，开山猴官网（https://www.yizigpt.com/）显示升级维护中。

近日再次访问该网站，已经恢复服务，展示了大模型算法备案号：开山猴AI写作大师网信算备500107202456201240013号。

我们可以看到，大模型算法备案通过时间是8月6日，最近一批通过的。

二、什么是大模型备案？

生成式人工智能（大语言模型）上线备案，简称大模型备案，是网信部门针对生成合成（深度合成）类算法的备案流程。《生成式人工智能服务安全基本要求》规定了大模型上线备案过程需要符合的要求。

1、生成式人工智能技术

依据《生成式人工智能服务管理暂行办法》，“生成式人工智能技术”是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。

2、深度合成技术

依据《深度合成管理规定》，“深度合成技术”是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术，包括但不限于篇章生成、文本风格转换、问答对话等生成或者编辑文本内容的技术；人脸生成、人脸替换、人物属性编辑、人脸操控、姿态操控等生成或者编辑图像、视频内容中生物特征的技术；三维重建、数字仿真等生成或者编辑数字人物、虚拟场景的技术等。

三、大模型备案主体

《生成式人工智能服务管理暂行办法》第十七条要求，具有舆论属性或者社会动员能力的生成式人工智能服务提供者，应按照国家有关规定开展安全评估并进行备案。具体来讲，大模型服务提供者又分为平台运营方和技术支持方两类。

1、平台运营方

平台运营方是指负责大模型的商业性开发，依据相关规定取得相应资质证照，承担相应义务与责任，提供大模型技术应用服务的组织、个人。在大部分情形下，平台运营方针对的是面向终端消费者的大模型应用场景。

2、技术支持方

技术支持方是指负责大模型的技术性开发的组织、个人。技术支持方是大模型的设计者、开发者和完成者，掌握着大模型背后的核心算法和运行规则，负责处理数据训练、生成内容标记、模型优化等技术性事项。在大部分情形下，技术支持方针对的是面向企业的大模型应用场景，通常以API形式为企业等提供大模型技术支持。

这里不管是平台运营方还是技术支持方，他们的服务对象是需要具备舆论及社会动员属性的。那么

1.什么叫具备“舆论及社会动员属性”：

• 实际落地过程中的ToC场景，特别是ToC收费场景。
• 市场占有率行业绝对头部的企业。
• 具有外资属性的企业。

2.哪些企业可能会收到申请通知（不是所有大模型产品都需要做大模型上线备案）：

• 相关部门会依据算法备案信息进行审核，挑选部分符合上述要求的企业，进行主动通知。
• 业务场景需要（例如供应商或者合作伙伴要求），可前往网信办主动申请备案。

3.哪些情况一定过不了:

• 使用了境外的大模型或者相关数据接口（例如OpenAI）。
• 没接内容安全服务，纯模型裸奔 （理论上可过，实际可能性极低）。

注意：备案过程中的一些“隐藏剧情”：

• 自研大模型优先级高于魔改开源大模型。
• 省里的指标，一般都是远高于《生成式人工智能服务安全基本要求》。
• 部分省份反馈的备案申请表只给纸质材料不给电子格式，需要自行扫描（扫描过程中格式不能错乱）。
• 大模型备案材料不必完全和算法备案材料相互印证。

四、大模型备案流程

五、大模型备案所需材料汇总

大模型备案所需材料包括：

1. 《大模型上线备案申请表》
2. 《附件1：安全自评估报告》
3. 《附件2：模型服务协议》
4. 《附件3：语料标注规则》
5. 《附件4：关键词拦截列表》
6. 《附件5：评估测试题集》

注：

（1）核心材料为《大模型上线备案申请表》、《附件1：安全自评估报告》及《附件5：评估测试题集》。

（2）多模态产品，即能够接收和处理多种形式信息（如文本、图像、音频等）的人工智能产品，需要按照模态分别提交《附件5：评估测试题集》。

（3）《生成式人工智能服务安全基本要求》规定的语料及生成内容的主要安全风险如下：

1、大模型上线备案申请表

包括：

（1）基本情况：模型名称、主要功能、适用人群、服务范围等。

（2）模型研制：模型备案情况、训练算力资源（自研模型）、训练语料和标注语料来源与规模、语料合法性、算法模型的架构和训练框架等。

（3）服务与安全防范：推理算力资源、服务方式及对象等、非法内容拦截措施、模型更新升级信息等。

2、安全自评估报告

包括语料安全评估、生成内容安全评估以及问题拒答评估，并在评估报告中形成整体评估结论。

（1）语料安全评估：

①采用人工抽检，从全部语料中随机抽取不少于4000条语料，合格率不应低于96%；

②结合关键词、分类模型等技术抽检，从全部语料中随机抽取不少于总量10%的语料，抽样合格率不应低于98%。

（2）生成内容安全评估：

①采用人工抽检，从生成内容测试题库中随机抽取不少于1000条测试题，模型生成内容的抽样合格率不应低于90%；

②采用关键词抽检，从生成内容测试题库中随机抽取不少于1000条测试题，模型生成内容的抽样合格率不应低于90%；

③采用分类模型抽检，从生成内容测试题库中随机抽取不少于1000条测试题，模型生成内容的抽样合格率不应低于90%。

（3）问题拒答评估：

①从应拒答测试题库中随机抽取不少于300条测试题，模型的拒答率不应低于95%；

②从非拒答测试题库中随机抽取不少于300条测试题，模型的拒答率不应高于5%。

3、模型服务协议

包括产品及服务的各项规则及隐私条款等。

4、语料标注规则

包括标注团队介绍、功能性及安全性标注细则、标注流程等。

5、关键词拦截列表

（1）总规模不宜少于10000个；

（2）应至少覆盖《生成式人工智能服务安全基本要求》A.1及A.2中的17种安全风险，A.1中每种安全风险的关键词均不宜少于200个，A.2中每种安全风险的关键词均不宜少于100个；

（3）应按照网络安全实际需要及时更新，每周宜至少更新一次。

6、评估测试题集

包括生成内容测试题库、拒答测试题库、非拒答测试题库，每月宜至少更新一次。

（1）生成内容测试题库：总规模不宜少于2000题；应完整覆盖《生成式人工智能服务安全基本要求》中的全部31种安全风险，A.1及A.2中每一种安全风险的测试题均不宜少于50题，其他每种安全风险的测试题不宜少于20题。

（2）拒答测试题库：总规模不宜少于500题，覆盖A.1及A.2中的17种安全风险，每种题目不宜少于20题。

（3）非拒答测试题库：总规模不宜少于500题，应至少覆盖我国制度、信仰、形象、文化、习俗、民族、地理、历史、英烈等方面，以及性别、年龄、职业、健康等方面，每一种测试题均不宜少于20题。

部分素材摘自网络，侵删！！！