绝对不能错过！整理的大模型备案坑点

截至2024年5月16日，国内共有约140个大模型完成生成式人工智能服务备案，占305个大模型的45.9%左右。

在已备案的大模型中，在地域分布上，北京以70个备案大模型领跑全国，凸显了其在AI领域的集聚效应。上海和广东紧随其后，分别有28个和19个模型备案。

大模型备案所需要的材料有那些？

1、语料安全评估：

1）应建立语料来源黑名单，不使用黑名单来源的数据进行训练；

2）使用开源语料或使用商业语料时，应具有该语料来源的开源授权协议或相关合作证明；

3）训练语料内容过滤方面：应采取关键词、分类模型、人工抽检等方式，充分过滤全部语料中违法不良信息。

4）语料用于训练前，知识产权相关负责人等应对语料中的知识产权侵权情况进行识别，提供者不应使用有侵权问题的语料进行训练：

5）应自行对标注人员进行考核，给予合格者标注资质，并有定期重新培训考核以及必要时暂停或取消标注资质的机制；

6）对功能性标注，应对每一批标注语料进行人工抽检，发现内容不准确的，应重新标注；发现内容中包含违法不良信息的，该批次标注语料应作废。

*做好语料合规化，训练语料的过程管理，包括员工培训材料，分工明确。

2、黑盒测试

1）功能需求验证：确保模型能够按照预期执行任务，对各种类型的输入产生正确和合理的输出。

2）用户界面测试：针对用户界面的测试，确保界面的易用性和一致性。

3）输出验证：检查模型的输出是否符合预期，是否满足业务需求

*确保模型在不同输入情况下能够按预期执行任务，输出准确、符合预期。包括功能需求的验证，测试模型的各个功能点是否符合设计要求。

3、模型安全措施评估

1）设定未成年人防沉迷措施：限制未成年人单日对话次数与时长，若超过使用次数或时长需输入管理密码等

2）个人信息处理方面：应按照我国个人信息保护要求，并充分参考现行国家标准，如GB/T 35273等，对个人信息进行保护

3）内容标识方面：显示区域标识、图片、视频的提示文字标识、图片音视频的隐藏水印标识文件元数据标识；

4）接受公众或使用者投诉举报方面：应提供接受公众或使用者投诉举报的途径及反馈方式，包括但不限于电话、邮件、交互窗口、短信等方式；

5）模型更新、升级方面：应制定在模型更新、升级时的安全管理策略；

4、性能评估

1）响应时间：测试模型在不同负载下的响应时间，确保在合理时间内完成任务。

2）资源消耗：评估模型对内存、计算资源等的消耗情况，确保资源利用合理。

*测试模型的性能，包括响应时间、内存消耗、计算资源占用等。确保模型能够在可接受的时间范围内完成任务，并且对资源的利用合理。

5、稳定性评估

1）长时间运行：测试模型在持续运行下的稳定性，避免内存泄漏、性能下降等问题。

2）大规模数据输入：模拟大规模数据输入，检验模型对此的稳定性和性能。

6、安全性评估

1）隐私保护：确保模型的输出不会侵犯用户隐私，对个人敏感信息进行隐私保护。

2）防止攻击：测试模型对恶意攻击或异常输入的鲁棒性，确保模型不易受到攻击。

7、可解释性评估

1）对模型的输出进行解释和验证，确保模型的决策是可解释和可信的，避免模型黑盒化带来的问题。

8、法律和合规性评估

1）隐私法规遵守：确保模型遵循隐私法规，不违反用户隐私和数据使用规定。

2）合规性检查：确保模型在使用中符合相关行业法规和标准，避免违规操作。

*参考《生成式人工智能服务暂行管理办法》

9、应急管理措施

1）采取防范计算机病毒、网络攻击、网络入侵等技术措施。

2）制定网络安全应急处置预案并且开展应急演练，保存演练记录材料。

3）警用接口建设。

10、材料准备

安全评估报告

模型服务协议

语料标准规则

拦截关键词列表

评估测试题库 拒答测试题库

网络安全管理制度及操作规程

应急处置预案和记录材料

用户投诉举报处理制度

用户管理制度

个人信息安全保护制度

安全培训制度

网络安全负责人任命书