一、大模型不备案处罚案例
7月22日,重庆网信部门通报2024年上半年查处的网上各类违法违规行为,其中涉及3起违规从事生成式AI服务的案例。
1、灵象智问AI
针对“灵象智问AI”“重庆哨兵拓展迷”等网站未经安全测评备案、违规提供生成式人工智能服务问题,依法对运营主体开展执法约谈,责令立即停止相关服务;目前官网显示“无法访问”,微信公众号及视频号均无任何内容。
2、蓉城工作室
对未经安全评估上线提供Chat-GPT生成式人工智能信息服务的“南川区蓉城网络科技工作室”依法开展执法约谈,责令立即关停相关服务。
“重庆哨兵拓展迷”及“南川区蓉城网络科技工作室”未检索到官方网站及公众号。
3、“开山猴”AI写作网站
近日,九龙坡区网信办依法对属地“开山猴”AI写作网站运营主体重庆初唱科技有限公司未尽到审核管理义务、履行主体责任不到位的行为作出行政处罚。
经查,该企业运营的“开山猴AI写作大师”网站违规生成法律法规禁止的信息,未尽到主体责任义务,违反了《中华人民共和国网络安全法》《生成式人工智能服务管理暂行办法》等相关法律法规。九龙坡区网信办依据《中华人民共和国网络安全法》第六十八条的规定,给予其行政警告处罚,并责令该公司限期全面整改,加强信息内容审核,健全信息内容安全管理相关制度,暂停网站信息更新及AI算法生成式写作功能15日。
该公司负责人表示,将严格按照整改通知要求,即时做好整改,持续加强互联网法律法规学习,坚持依法办网。
此前,开山猴官网(https://www.yizigpt.com/)显示升级维护中。
近日再次访问该网站,已经恢复服务,展示了大模型算法备案号:开山猴AI写作大师网信算备500107202456201240013号。
我们可以看到,大模型算法备案通过时间是8月6日,最近一批通过的。
二、什么是大模型备案?
生成式人工智能(大语言模型)上线备案,简称大模型备案,是网信部门针对生成合成(深度合成)类算法的备案流程。《生成式人工智能服务安全基本要求》规定了大模型上线备案过程需要符合的要求。
1、生成式人工智能技术
依据《生成式人工智能服务管理暂行办法》,“生成式人工智能技术”是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。
2、深度合成技术
依据《深度合成管理规定》,“深度合成技术”是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术,包括但不限于篇章生成、文本风格转换、问答对话等生成或者编辑文本内容的技术;人脸生成、人脸替换、人物属性编辑、人脸操控、姿态操控等生成或者编辑图像、视频内容中生物特征的技术;三维重建、数字仿真等生成或者编辑数字人物、虚拟场景的技术等。
三、大模型备案主体
《生成式人工智能服务管理暂行办法》第十七条要求,具有舆论属性或者社会动员能力的生成式人工智能服务提供者,应按照国家有关规定开展安全评估并进行备案。具体来讲,大模型服务提供者又分为平台运营方和技术支持方两类。
1、平台运营方
平台运营方是指负责大模型的商业性开发,依据相关规定取得相应资质证照,承担相应义务与责任,提供大模型技术应用服务的组织、个人。在大部分情形下,平台运营方针对的是面向终端消费者的大模型应用场景。
2、技术支持方
技术支持方是指负责大模型的技术性开发的组织、个人。技术支持方是大模型的设计者、开发者和完成者,掌握着大模型背后的核心算法和运行规则,负责处理数据训练、生成内容标记、模型优化等技术性事项。在大部分情形下,技术支持方针对的是面向企业的大模型应用场景,通常以API形式为企业等提供大模型技术支持。
这里不管是平台运营方还是技术支持方,他们的服务对象是需要具备舆论及社会动员属性的。那么
1.什么叫具备“舆论及社会动员属性”:
- 实际落地过程中的ToC场景,特别是ToC收费场景。
- 市场占有率行业绝对头部的企业。
- 具有外资属性的企业。
2.哪些企业可能会收到申请通知(不是所有大模型产品都需要做大模型上线备案):
- 相关部门会依据算法备案信息进行审核,挑选部分符合上述要求的企业,进行主动通知。
- 业务场景需要(例如供应商或者合作伙伴要求),可前往网信办主动申请备案。
3.哪些情况一定过不了:
- 使用了境外的大模型或者相关数据接口(例如OpenAI)。
- 没接内容安全服务,纯模型裸奔 (理论上可过,实际可能性极低)。
注意:备案过程中的一些“隐藏剧情”:
- 自研大模型优先级高于魔改开源大模型。
- 省里的指标,一般都是远高于《生成式人工智能服务安全基本要求》。
- 部分省份反馈的备案申请表只给纸质材料不给电子格式,需要自行扫描(扫描过程中格式不能错乱)。
- 大模型备案材料不必完全和算法备案材料相互印证。
四、大模型备案流程
五、大模型备案所需材料汇总
大模型备案所需材料包括:
- 《大模型上线备案申请表》
- 《附件1:安全自评估报告》
- 《附件2:模型服务协议》
- 《附件3:语料标注规则》
- 《附件4:关键词拦截列表》
- 《附件5:评估测试题集》
注:
(1)核心材料为《大模型上线备案申请表》、《附件1:安全自评估报告》及《附件5:评估测试题集》。
(2)多模态产品,即能够接收和处理多种形式信息(如文本、图像、音频等)的人工智能产品,需要按照模态分别提交《附件5:评估测试题集》。
(3)《生成式人工智能服务安全基本要求》规定的语料及生成内容的主要安全风险如下:
1、大模型上线备案申请表
包括:
(1)基本情况:模型名称、主要功能、适用人群、服务范围等。
(2)模型研制:模型备案情况、训练算力资源(自研模型)、训练语料和标注语料来源与规模、语料合法性、算法模型的架构和训练框架等。
(3)服务与安全防范:推理算力资源、服务方式及对象等、非法内容拦截措施、模型更新升级信息等。
2、安全自评估报告
包括语料安全评估、生成内容安全评估以及问题拒答评估,并在评估报告中形成整体评估结论。
(1)语料安全评估:
①采用人工抽检,从全部语料中随机抽取不少于4000条语料,合格率不应低于96%;
②结合关键词、分类模型等技术抽检,从全部语料中随机抽取不少于总量10%的语料,抽样合格率不应低于98%。
(2)生成内容安全评估:
①采用人工抽检,从生成内容测试题库中随机抽取不少于1000条测试题,模型生成内容的抽样合格率不应低于90%;
②采用关键词抽检,从生成内容测试题库中随机抽取不少于1000条测试题,模型生成内容的抽样合格率不应低于90%;
③采用分类模型抽检,从生成内容测试题库中随机抽取不少于1000条测试题,模型生成内容的抽样合格率不应低于90%。
(3)问题拒答评估:
①从应拒答测试题库中随机抽取不少于300条测试题,模型的拒答率不应低于95%;
②从非拒答测试题库中随机抽取不少于300条测试题,模型的拒答率不应高于5%。
3、模型服务协议
包括产品及服务的各项规则及隐私条款等。
4、语料标注规则
包括标注团队介绍、功能性及安全性标注细则、标注流程等。
5、关键词拦截列表
(1)总规模不宜少于10000个;
(2)应至少覆盖《生成式人工智能服务安全基本要求》A.1及A.2中的17种安全风险,A.1中每种安全风险的关键词均不宜少于200个,A.2中每种安全风险的关键词均不宜少于100个;
(3)应按照网络安全实际需要及时更新,每周宜至少更新一次。
6、评估测试题集
包括生成内容测试题库、拒答测试题库、非拒答测试题库,每月宜至少更新一次。
(1)生成内容测试题库:总规模不宜少于2000题;应完整覆盖《生成式人工智能服务安全基本要求》中的全部31种安全风险,A.1及A.2中每一种安全风险的测试题均不宜少于50题,其他每种安全风险的测试题不宜少于20题。
(2)拒答测试题库:总规模不宜少于500题,覆盖A.1及A.2中的17种安全风险,每种题目不宜少于20题。
(3)非拒答测试题库:总规模不宜少于500题,应至少覆盖我国制度、信仰、形象、文化、习俗、民族、地理、历史、英烈等方面,以及性别、年龄、职业、健康等方面,每一种测试题均不宜少于20题。
部分素材摘自网络,侵删!!!