大模型赋能网络安全整体应用流程概述

最新推荐文章于 2025-04-28 17:27:02 发布

Python_金钱豹

最新推荐文章于 2025-04-28 17:27:02 发布

阅读量658

点赞数 22

文章标签： web安全安全信息可视化知识图谱人工智能大数据算法

本文链接：https://blog.csdn.net/Python_cocola/article/details/146009923

版权

一、四个阶段概述

安全大模型的应用大致可以分为四个阶段：

阶段一主要基于开源基础模型训练安全垂直领域的模型；

阶段二主要基于阶段一训练出来的安全大模型开展推理优化、蒸馏等工序，从而打造出不同安全场景的专家模型，比如数据安全领域、安全运营领域、调用邮件识别领域等等；

阶段三基于不同安全场景的专家模型开展智能体开发，此过程属于复杂的系统工程，需要基于不同的场景对多个专家模型和安全大模型进行微调、提示、检索增强、联合任务适配、大小模型协同等，典型的架构为MOE。

阶段四主要为生产环境的推理应用，将不同场景的安全智能体通过本地部署或者SAAS服务的方式，接入用户侧的安全系统，再经过适当的人工调优即可实现大模型赋能安全。当然，此阶段内也存在不同阶段的应用需求，大致可分为基于RAG的客制化需求、基于用户语料的微调需求以及新领域的智能体需求。鉴于这些可能的需求，在引入大模型赋能安全时，采用支持多智能体灵活扩展，且支持新智能体开发的解决方案架构，可有效避免后期的烟囱式建设。

下图为安全大模型应用的大致流程。在后续章节中，对其中的一些重要过程进行简要介绍。

二、主要过程介绍

2.1、数据准备

数据主要来源：外部数据包括通用和行业开源、比如智源悟道、ArXiv、GitHub等安全领域的开源数据；内部数据主要为企业内部的积累数据、比如网络安全攻击战术、网络安全日志、情报等等。

数据处理过程：清洗、增强、存储、抽取等；

数据配比很重要，在不同训练阶段配比也存在差异；

为提高数据准备和应用环节的效果，需要建立相关的数据质量标准、评估标准和数据治理平台；

利用合成数据也是一个重要的思路，比如通过gpt4o生成数据。

2.2、基模选择

在网络安全领域选择基础大模型时，首先需要考虑模型在专业领域的适应性和定制化能力，包括对安全威胁、漏洞检测、日志分析等场景的专门训练或微调效果。同时，还要关注模型在数据隐私保护、响应速度、资源消耗以及实时防御场景下的鲁棒性，以确保在处理敏感信息和应急响应时既高效又安全。此外，模型的多语言支持、代码理解能力以及跨领域知识整合能力也是关键考量点。

就具体模型而言，Llama作为Meta推出的开源模型具有较好的通用性和社区支持，但在网络安全场景下可能需要进一步的定制和专业数据训练；QWEN则在中文处理上表现优异，适合应对中文安全威胁情报和本土化需求；Mistral以高效的计算性能和灵活的架构优势，在资源受限或实时分析环境中有较大潜力；最近出来的Deepseek预计是未来的优选基模，具体场景还需要时间验证。

2.3、二次预训练

二次预训练犹如一次“精装修”，它在通用预训练的基础上，以更低的成本实现了与从头开始训练模型相似的效果。这一过程不仅保留了模型在通用知识上的优势，更重要的是，它显著提升了模型对安全知识的理解。模型在特定领域数据的滋养下，能够更准确地识别、分析和处理安全相关的信息，从而在安全任务中表现出色。这使得模型在应对安全挑战时更加游刃有余，同时也为后续的微调和优化奠定了坚实基础。

2.4、模型微调

包括指令微调和强化学习。

微调的主要方法，常用到lora、QLORA 等；

强化学习是重点，2024年前OpenAI首席科学家llya就提到了预训练将会结束，openai推出的o1表现出来得深度思考主要也是基于强化学习而来，当红明星deepseek R1-Zero 完成是基于强化学习而来。可以预计未来强化学习在安全推理模型的表现效果上会起到非常关键的作用。

2.5、推理优化

推理优化主要涉及模型压缩、算子融合、内存优化和并行计算。模型压缩通过减少模型参数量和计算量来提高推理速度，包括剪枝（删除不重要的连接或神经元）、量化（将浮点数参数转换为低精度整数）和蒸馏（使用小模型学习大模型知识）。

2.6、模型安全

模型安全是一个复杂而重要的领域，需要综合考虑技术、伦理和法律等多个方面，以确保模型的安全可靠运行。 价值观对齐、模型水印、模型加密、隐私保护 等需要重点设计，国内当前在合规层面可以考虑网信办的备案。

2.7、模型评测

模型训练阶段的模型测评贯穿始终，不同阶段侧重不同目标。二次预训练阶段，侧重考察模型在特定领域数据的泛化能力，评估其是否有效吸收领域知识。模型微调阶段，关注模型在特定任务上的表现，评估指标包括准确率、召回率等，旨在优化模型以适应目标任务。推理优化阶段，测评模型在实际应用场景下的性能，如推理速度、资源占用等，确保模型满足部署需求。各阶段测评结果相互印证，共同驱动模型不断优化。

三、部署应用阶段

3.1、与现有环境对接

通过本地部署模型或者SAAS 接入的方式，对接本地的系统，比如与探针对接、与SOC平台对接、与邮件网关或邮件系统对接等；对接后，进行人工调优看护，可逐步驱动组织分工的改善。比如在安全运营场景，安全大模型基于人类专家经验，自主对告警/事件进行分析，并基于分析结果生成处置策略，可大范围缓解T1、T2级别人员的工作压力，从而让其逐步转变为“威胁猎手”。

3.2、本地知识应用

通过RAG接入自身相关数据，比如安全管理要求，资产信息，使得告警分析过程更加客制化。

3.3、本地微调

基于自身的数据积累，调用接口开展模型微调；

3.4、构建个性化安全智能体

基于自身的个性化需求，在安全大模型上构建新的安全智能体，比如漏洞挖掘、情报生成等方向。

其他讨论-如何保持基模的快速迭代

当能力更强的开源基模出来时，如何快速接入？在垂直领域模型架构设计的时候就要考虑到，**比如采用MOE的架构，智能体与基模松耦合等。**为了避免被不断出现的模型扰乱计划，科学的方式是沉淀自身的安全大模型（对厂商合适），这在提升模型泛化能力、降低训练开发成本以及模型安全和技术影响力建设方面均有正面效果；

需要注意的是，安全垂直领域的大模型应用属于智能体形态，基模只是智能体的一部分，完整的智能体开发还包括语料构建、提示词与复杂思维链构建、幻觉控制、性能调优等，对于安全应用来说，并不是直接接入某个强大的基模就能达到能接受的效果。比如当前横空出世的deepseek,其长文本推理上的优势在告警研判、威胁狩猎、辅助对话等方面都能带来价值，但是要真正的集成到产品当中，一定需要严格的效果评估，而不是单纯的接入。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述