生成式AI行至中场，谁能旋紧大模型的安全“阀门”？-CSDN博客

本文链接：https://blog.csdn.net/xxue345678/article/details/138325970

不知不觉，从AIGC到生成式AI大模型及其应用，浪潮已然持续一年有余。在不短的时间里，无论是大洋彼岸的OpenAI，或者国内头部互联网厂商，一边忙着迭代模型，一边扩展自己从底层模型到末端应用的生态圈，当然，还有商业化的关键一步——合规与安全。

之所以合规要和安全分开讨论，是因为二者阶段有本质上的差别——从广义来说，AI领域的安全可分为大语言模型安全、模型及使用模型的安全、以及大语言模型的发展对现有网络安全的影响，它们分别对应着个体安全、环境安全和社会安全三种不同层级。

从分类也能发现，合规主要针对后两者，但安全本身却贯穿始终，也因此，很多大厂的模型一旦通过合规审查，其安全性随着参数量和训练数据的不断迭代升级，也在发生变化。

但仅凭一开始的合规检测，很难保证模型厂商的全程安全性——而这，已经成为制约模型产品商业化最直接的阻碍，甚至可以说没有之一。

作为拥有近二十年历史的网络安全厂商，360在躬身入局安全模型领域之后，前述诸多模型安全问题，对应端到端的解决方案正在不断被提供，被使用。大模型行业的安全问题，也因为360这样的网安厂商躬身入局，走入了新的历史时期。

什么是大模型的“安全死角”

以GPT-4为代表的语言大模型及其衍生产品，其固有的缺陷之一，是生成结果的“幻觉”问题。如果简单概括，即对于确定的输入prompt，模型最终输出的不一样乃至相反的结果，俗称“一本正经地胡说八道。”

第二类缺陷，主要则是接入模型API的安全性问题，作为模型能力最主要的交付渠道，多数web程序受到的网络攻击均针对API。也因此，作为联通数据库与用户UI的阀门，它最大的风险显然来自于对于各种操作的许可程度，一旦过度，轻则用户数据泄露，重则软件数据被劫持，酿成无法挽回的后果。

第三类缺陷，则是模型本身因为数据投毒，或者刻意引导，而导致模型输出与社会环境导向相违背，或者是产生重大商业风险的回答。比较显著的案例，即“科大讯飞风险警示文”致使公司股价单日下跌9%。

可以看到，列举的几类主要问题，还能重分类为传统的网络数据安全问题，和大模型原生问题两类。很显然，如果对大模型不甚了解的网络安全企业，或者是硬件层面的网安企业，是很难真正解决大模型原生问题的。

也因此，这些安全死角中，只有传统的网络与数据安全问题可以用传统的安全方法解决，大部分的安全问题都是大模型自身特性所导致的。我们甚至可以大胆下一个论断：

要解决大模型内部的安全问题首先要非常了解大模型，不做大模型的传统安全企业，难以实现原生的大模型安全能力。

一位AI游戏项目主策划即对此深有体会。他告诉AI大模型工场，他所在的某IP改编游戏项目中，使用了GPT-4作为底层语言模型。但即便是市面上最好的模型，输出结果也不尽人意。

其主要体现在，对于一些训练语料（主要指官方设定集）的确定性描述，哪怕输入检索性prompt，都能出现一定程度的偏差，而在进行一定程度的“黑名单”处理之后，仍然无法从根源解决这个问题。

原因也很简单，这位策划所在游戏公司，目前处于创业阶段，团队规模不过10人，服务器是公有云，美术资源很多是通用的，唯一自己的只有技术人员和策划，还有老板，这样的团队，是不可能有余力，对大模型的安全问题作出有效应对的。

在3月20日举行的360安全大模型3.0发布会上，360数字安全集团副总裁李博认为，目前以AI为代表的新一轮产业革命正在发生，安全层面的问题同样值得关注，有所不同的是，除了固有的传统网络数据安全问题，大模型本身也存在内容生成、恶意使用、模型可控等原生AI安全问题。

这几个层面上的安全问题，也只有第一层可以通过传统网安方式解决，而大部分问题都是大模型原生的安全问题。也因此，80%的安全大模型问题，需要用大模型自身具备相应的安全能力，才有解决的可能性。

也因此，目前生成式AI所面临的问题，如果再埋首前互联网时代的网安“故纸堆”，是要被时代无情抛弃的。

从框架体系，到“大模型安全管家”

在着手解决大模型安全问题之前，成体系成框架的顶层思考，是后续安全技术方案成型的关键。成形之后，进而搭建适合输出客户的双轮框架，率先完成了从大模型到安全管家的角色转换。

李博认为，大模型的安全问题若想得以解决，首先需要解决四大安全主题的核心问题。

大模型的可靠性首当其冲，这主要表现为网络安全与数据安全，也就是它所在的运行环境，这决定了模型的稳定和响应速度。

其次，保障大模型的可信。这里分为两点。除了内容可信，内容完整可用同样重要。因为国内大模型多如牛毛，不乏语料和训练集过期或者不完整的，它关乎用户问题能否被有效解决。

再次是向善及可控问题。前者主要指内容要符合当下社会运行规范和意识形态，后者则是大模型行为及回路的可控，避免被篡改。

框架层面，360同样将传统网安大脑体系，与原生大模型安全能力相结合，进而形成了综合性安全能力框架，即AISF。

具体而言，以探针采集、平台运营、AI降本增效构建的专家服务和安全数据支撑能力，以及靠十多年网安经营积累的数据泄露预警能力、训练语料清洗、训练和运行的数据保护构建的数据安全能力，共同为基础的360安全云提供核心能力。

原生的大模型安全能力上，360则搭建出1个框架+2个平台+三组套件，按基础、可信、向善、可控、效果五大方向进行保障。举个例子，向善保障下属的向善能力套件，即包括保证内容向善的内容护栏、能力向善的数字水印，以及防范提示注入攻击的风控大模型。其他方向的保障，也集中了相应的套件和平台。

而在架构初成的360大模型安全框架基础上，360已经具备了平移和赋能合作伙伴和外部客户的能力，主要呈现形态，即“360大模型安全管家”，一如在手机和电脑上的360安全管家。

需要指出的是，在目前高昂的模型训练和维护成本下，多数厂商的服务器都是以公有云为主体存在的。也因此，大模型面临的系统漏洞、网络攻击、数据窃取的概率，相比私有化部署更高。而360安全云以安全即服务的形式，对大模型运行环境进行监测、分析、安全响应、防护处置、及时发现修复漏洞，组织网络攻击和数据窃取，很大程度规避了公有云环境下的安全风险。

此外，同样的安全保障也能延伸到大模型训练阶段，主要手段则是检测清洗训练数据，以及矫正加密训练模型的算法。

到了输出内容阶段，安全管家的风控大模型则可以对输入内容进行敏感检测，识别不符合相关法规的敏感问题并返回预设答案或者过滤改写答案。在可信度上，通过搜索增强、知识增强、对齐增强等能力，针对特殊行业、专业知识等特化场景进行对应的推理准确性提升。由此缓解模型输出的“幻觉”问题。

而在底层运维板块，安全管家则使用原生安全的AI agent 可用框架，对大模型场景进行统一调用，由此产生的效果是，让大模型对任务的编排调度和执行过程可控，防止大模型的运行失控。

而在核心模型安全系数评估中，360首创大模型红蓝对抗靶场，对大模型进行全面攻防对抗模拟，换句话说，在防护过程中会定期“举行演习”，让安防系统时刻“一级战备”，以最大程度保护大模型常态化安全。

在此过程中，安全体系也会不断迭代优化，模型的核心安全能力也因此得到增强。

躬身入局，产业先行

网络安全是一个实践出真知的领域，没有数十年如一日的网安实战攻防，也无360如今网安界的影响力。也因此，360要在大模型安全领域有所建树，躬身入局大模型是必须要走的路。

早在一年前，周鸿祎就号召360全体员工“AII in AI”，不过，这并不是像外界所揣测的那样，用所有资金去买显卡，去挖人才，而是改造自己的业务流程和产品的功能服务流程，在流程中找到尽可能多的环节，用AI加持和赋能。

那么AI如何跟360的安全业务相结合？显然是对以往的安全模型进行AI化改造。其中的必要性，李博也有相应阐述。他提出两个结论。第一，如果要有效解决大模型内部的安全问题，首先要非常了解大模型，正如解决其他业务安全问题，首先需要了解业务特性一样。

李博认为，只有躬身大模型研发，才有能力解决大模型安全问题——正如前文所言，这类问题在大模型相关安全领域，占比超过80%。

第二，**不做大模型的传统安全企业，同样难以实现原生的大模型安全能力。**这里同样也有一个80%——80%的问题都需要在大模型内部深入耦合原生安全机制，没有自己的大模型，一些安全机制很难适应大模型的环境。

李博举了几个例子，譬如训练过程中对样本和语料的识别，对生成恶意内容的有效控制，生成内容的后期纠正，以及内部工作过程中的控制。也因此，只有深度结合大模型，自身有大模型实践经验的安全公司，才能解决大模型安全背后的问题。

事实上，早在一年多以前，360在C端大模型领域已经有所积累推出360智脑，而在生成式AI浪潮到来后，企业大模型也走入360的业务范围。对360而言，大模型的安全问题，如今已经不再是解决不了的困难。

但国内企业在安全防护上的意识，仍然不足。李博告诉AI大模型工场，国内企业在大多数时间里，更多关注业务，很少关注安全，这在互联网早期并无错误。但在数据和业务累积之后，一旦出现安全问题，对企业和客户的损失可能在亿级以上。

天津金城银行的合作案例，意义就在于此。它固然通过360的模型能力，去解决了一些降本增效的问题，但前提是模型本身，是360加持过安全能力建设的。它的意义在于，在模型建设同期即开始安全能力建设，两手抓，两手硬。

不过，归根到底，安全是人与人之间的对抗，360可以赋能企业框架、组件、能力甚至人员，但这显然也只是个开始。因为黑客总会找到突破防火墙的方法，大模型因其造价昂贵，价值高昂，也更易被人定点爆破。也因此，大模型安全暗合了去年周鸿祎提出的“安全即服务”，大模型的安全，不仅是一个长线的保障，更是大模型赖以商业化落地，乃至开花结果的重要拼图。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述