Gartner发布网络安全应用生成式AI指南：应用生成增强功能提升企业网络安全能力和效率的三个领域及9个实例

生成增强功能是专门为提高知识工作者的生产力、解决网络安全技能短缺问题并降低大型语言模型带来的风险而构建的。安全和风险管理领导者通过在运营中采用生成增强来提高团队的能力。

主要发现

• 与其他人工智能实现相比，生成式人工智能 (GenAI)解决方案，特别是大型语言模型 (LLM)，具有一系列独特的风险。

• 部署GenAI能力以支持内部示例的成本更高，企业机构的试错空间较小。

• GenAI 能够并且将会改变组织在企业几乎所有方面（包括安全团队）设计工作、资源任务和分配职责的方式。

建议

寻求在组织内采用和部署 GenAI 功能的安全和风险管理 (SRM) 领导者（包括 CISO）应：

• 开发或获取生成增强(GA)来协调与内部企业用例的大语言模型的交互，而不是使用对话界面。这将有助于减轻该技术特有的新的和未探索的风险。

• 从一开始就确保投资回报率一致，并优先考虑在线增强而不是对话部署，以减轻标准聊天界面带来的风险，并降低开发和运营中的相关复杂性/成本。

• 专注于构建/获取与业务目标明确一致的劳动力增强，而不是寻求 GenAI 可以解决的新挑战。

战略规划假设

• 到 2025 年，30% 的用于内部企业用例的生成式 AI 对话式部署将无法带来任何有意义的投资回报率。

• 到 2028 年，生成增强技术的采用将缩小技能差距，从而消除 50% 的入门级网络安全职位对专业教育的需求。

介绍

围绕 GenAI 的最初炒作促使许多组织在没有太多规划的情况下就采用了该技术。像这样的场景伴随着很高的风险，因为除了一些边缘案例之外，回报永远不会与炒作相匹配。结果通常是经过数月的反复试验，然后是追溯评估、财务冲销，以及可能的高管离职，具体取决于冲销的规模。更大的影响将会在稍后出现，表现为当生成能力的推出被延迟时就会失去机会。

讽刺的是，GenAI 计划在内部企业用例中失败的风险加大，其背后的罪魁祸首是对话界面，该界面首先将技术推入了我们的集体意识。失败风险增加至少有两个原因：

• 使用和投资回报率：投资回报率 (ROI) 取决于员工积极使用该技术并随后获取收益。无法保证员工会使用对话界面，也不保证新鲜感不会消失。如果没有明确的价值主张，员工就不会将 GenAI 集成到他们的日常工作流程中。此外，展示好处非常困难，因为您只能跟踪使用情况，其余的都留给用户。

• 提示和幻觉：十个用户将以 10 种不同的方式提出同一问题，并可能收到六种不同的答案。根据各自提示的质量，答案可能是幻觉。组织必须对员工进行提示培训，在他们收到错误答案时为他们提供支持，并进一步投资于及时预处理和响应后处理，以更好地缓解这些问题。

CISO等 SRM 领导者需要意识到并设法避免这些风险，因为 GenAI 在网络安全方面的潜力巨大。这种潜力与 CISO 的三个关键目标相一致：

• 通过提高关键任务的质量和严格性来提高员工生产力。

• 提高初级员工的工作基准标准并促进招聘。

• 通过为人手短缺的 CISO 组织添加新的多样化功能，成为安全团队的力量倍增器。

部署生成增强功能以增强网络安全劳动力

如果网络安全从业者根据在特定任务中观察到的活动通过预先构建的提示获得主动支持，而不是要求他们停止正在做的事情来提出问题，那么他们将能够最好地利用生成能力。

这就是生成增强（GA）成为焦点的地方。 GA 是附加组件（例如插件或扩展），构建在主机应用程序之上以监视用户。然后，增强功能将获取这些观察到的数据以及来自其他系统的数据，并将其与一组预编程的提示相结合，以便在用户执行关键任务时为他们提供指导。

增强是基于人工智能的代理，部署用于观察特定的用户任务和工作流程，提供在线支持（增强）以提高员工的能力，使其超出普通人的能力。生成增强，顾名思义，专注于在增强中使用生成人工智能功能，充当用户和大语言模型之间的“即时代理”。

这些提示用于查询 LLM 并接收预定义格式的响应。这反过来又使组织更容易减轻幻觉。增强中的逻辑将在每个响应传递回用户之前验证每个响应。没有可用的对话/聊天界面 (UI)。

大语言模型以矢量数据库为基础，其中包含范围内用例所需的任何相关数据（见图 1）。

图 1：嵌入到主机应用程序中的生成增强的图示

这项研究将提供生成增强的示例，重点关注它们的作用、可以部署它们的主机应用程序类型以及需要整理的数据（在知识图或向量数据库中）以补充大语言模型。

分析

开发或获取生成增强来协调与大语言模型的互动

CISO 有两个（可预测的）选项来开始使用生成增强：

• 购买：安全产品供应商正在对其产品进行增强，以更好地支持用户。我们在一些主流平台中看到了这一点，例如集成到 Mandiant 威胁情报中的 Microsoft Security Copilot 或 Google Duet AI 。尽管其中大多数仍然是对话式的，但它们的下一次迭代将“融入”安全从业人员的工作流程中。投资这些已开发功能的局限性在于，它们将从自己的数据中获取知识，而不是从组织安全生态系统中的数据中获取知识。

• 构建：安全团队可以访问 LLM（内部管理的开源或 Azure OpenAI 服务或 NVIDIA NeMo 等平台），构建 GA 作为特定任务的浏览器扩展（其中一些任务在下一个中定义）部分）可能是一项低成本的工作，可以进一步验证更大的投资。

增强充当用户和大语言模型之间的“即时代理”。它主动使用一组针对特定问题领域的预编程提示。增强将提示大语言模型，接收响应，然后根据领域验证这些响应。其目标是为用户提供更具上下文的响应，而不需要以人为中心的对话界面。

下面列出了各种安全功能可能增强的几个示例。

生成增强可以部署在任何应用程序中，以监控用户活动并使用正确的 LLM 来增强手头的任务。

通过生成增强功能开发更安全的应用程序

这些示例生成增强将应用程序安全功能嵌入到软件开发过程中使用的工具中。这些功能可以帮助开发团队通过自动生成以安全为中心的用户故事、思考安全性的技巧和相关测试来创建更安全的软件。

示例1：故事生成器

相关角色：软件工程师、业务分析师、软件测试员

目标应用：

• 应用程序生命周期管理 (ALM) 或问题跟踪工具，允许开发团队创建用户故事：Jira、Azure DevOps、Rally

• 使用 ALM 工具时的浏览器扩展

相关数据（知识图/向量数据库）：ALM/问题跟踪器、新用户故事、威胁情报、应用程序漏洞

结果：滥用者的故事重点关注如果没有采取必要的控制措施，应用程序可能会被滥用或攻击。这将通过在冲刺规划阶段为开发团队提供以安全为中心的要求来提高应用程序安全性。

工作原理：产品团队通常会编写用户故事来解释软件功能所需的功能。这些故事是从最终用户的角度编写的，范围很窄，并且包含功能的特定要求（包括非功能要求）。用于创建用户故事的 ALM 工具（或 ALM 浏览器扩展）可以从攻击者或恶意用户的角度编写推论滥用者故事。

产品团队输入的示例用户故事：作为支付应用程序用户，我想将资金从我的帐户转移到另一个应用程序用户的帐户。

ALM 系统生成的滥用者故事示例：作为恶意用户，我想在未经合法用户同意的情况下将资金从合法用户的帐户转移到我的帐户。

示例 2：问题跟踪器

相关角色：开发团队、架构师、系统设计师

目标应用：ALM、问题跟踪或系统设计工具；浏览器扩展

相关数据（知识图/矢量数据库）：ALM/问题跟踪器、威胁情报、用户角色

结果：通过向开发团队提供提示，提醒他们在设计和实现应用程序功能时考虑安全性，从而提高应用程序安全性。

工作原理：向组织灌输威胁意识思维的一个简单方法是提出有关系统或设计的探究性问题。基本问题来自威胁建模宣言——“可能会出现什么问题？” ——但这个过程可以根据具体情况更加复杂和具体。例如，在编写用户故事或创建系统设计时，应用程序可能会生成有关正在开发的内容的探索性安全问题。如果用户故事需要应用程序处理敏感数据（例如，PHI、PII），那么系统可能会提出以下问题：“您是否要求正确加密该数据？”； “您真的相信该用户不会受到损害并暴露他们的凭据吗？”；以及“部署此功能时，您是否有足够的保护措施来保护应用程序的安全？”

用户故事示例：作为支付应用程序用户，我想将资金从我的帐户转移到另一个应用程序用户的帐户。

示例问题：

• 您对您的用户真正了解多少？

• 他们在转账时都是出于好意吗？

• 身份验证足够吗？

示例 3：代码助手

相关角色：软件工程师

目标应用：代码助手工具、VS Code、Visual Studio、Eclipse、IntelliJ、PyCharm、Atom

相关数据（知识图谱/向量DB）：源代码、单元测试、用户故

结果：通过为开发人员提供专注于安全性的自动化测试来提高应用程序安全性。

工作原理：代码助理人工智能工具可以根据开发人员的提示生成代码和单元测试。其中一些单元测试可能是负面或对抗性测试，以对代码进行压力测试。如果开发人员无意中创建了易受攻击的代码，系统还可以生成如何利用代码的示例。

开发人员编写的示例单元测试：

由 Augment 编写的负面单元测试示例：

通过生成增强来扩展安全运营团队

安全运营中心 (SOC) 团队不堪重负且人手不足。接下来是一系列可以嵌入到常见 SOC 工具中的 GA，为这些团队充当力量倍增器。

示例4：智能SOAR

相关角色：SOC 工程师、安全领导者、安全工程师

目标应用：安全编排、自动化和响应 (SOAR) 产品（例如来自 Cyware、D3 Security、Google、Palo Alto Networks、Rapid7、ServiceNow、Splunk、Swimlane、Tines 和 Torq）；安全信息和事件管理（SIEM）系统；可观测平台；浏览器扩展

相关数据（知识图谱/向量DB）：SIEM数据、云原生应用保护平台（CNAPP）数据、可观测性数据、漏洞数据、威胁情报

结果：通过为团队提供有关如何响应的重点和相关说明来改进事件响应。为初级 SOC 工程师提供有关如何解决事件的指导。

工作原理：现有的 SOAR 和安全自动化功能依赖于确定性或静态剧本。 Smart SOAR 增强功能将动态创建剧本，以响应检测到的安全事件。

示例 5：混沌查询

相关角色：平台工程师、安全工程师、DevSecOps 工程师、站点可靠性工程师

目标应用：SIEM系统、可观测平台、CNAPP、浏览器扩展

相关数据（知识图谱/向量DB）：SIEM数据、CNAPP数据、可观测性数据、漏洞数据、威胁情报

结果：通过小型安全实验不断测试环境的弹性，提高云/基础设施的安全性。

工作原理：混沌工程是使用实验性和潜在破坏性的故障测试或故障注入来发现分布式复杂系统中的漏洞和弱点。使用这种方法的目标是通过实验来测试系统的弹性，并在系统实际发生故障之前发现系统可能在哪里发生故障。安全混沌工程 (SCE) 将这种方法应用于系统的安全弹性。

SCE 使组织能够采用基于弹性的方法，使用两个层次：评估和实验。评估的目标是描述系统的关键功能和交互及其安全边界（类似于传统的威胁建模）。评估层的工件包括系统数据流图、关键功能文档和故障行为图。使用决策树是完成此活动的一种方法。借助决策树和其他评估工件，团队可以确定在何处引入 SCE 实验来测试系统弹性。

SCE 增强可以主动并生成实验来测试系统的风险最大的地方

示例：云安全态势管理 (CSPM) 解决方案报告特定帐户的云权限合规。 SCE 创建一个实验来增加帐户的权限，并期望 CSPM 监视器能够识别任何与合规性的偏差。

示例 6：可观察性工具

相关角色：SOC 工程师、安全架构师

目标应用：可观测性工具、浏览器扩展

相关数据（知识图谱/向量DB）：可观测性数据、日志、威胁情报、漏洞数据

结果：通过基于动态系统监测自动生成威胁模型，提高系统的可见性和安全性。为 SOC 工程师和安全架构师提供有关可能存在安全漏洞的指导。对初级员工进行有关系统和系统威胁的教育。

工作原理：可观察性是软件和系统的特征，它使软件和系统能够根据其输出被理解，并能够回答有关其行为的问题。可观察性工具（见图 2）将是对此类工具的增强，用于创建底层系统的模型，包括推理系统内部结构的模型和了解系统威胁的模型（即威胁模型）。

这种类型的增强可以增强持续威胁暴露管理 (CTEM) 等计划。此功能旨在设计业务主管可以理解并且架构和安全团队可以采取行动的可操作的安全漏洞补救和改进计划。

图 2：根据可观测性数据生成威胁模型的图示

示例 7：解释器

相关角色：SOC 工程师

目标应用：SIEM 工具（例如 Elastic、Exabeam、IBM、LogRhythm、Microsoft、NetWitness、Rapid7、Securonix 和 Splunk）；浏览器扩展

相关数据（知识图谱/向量DB）：SIEM日志、威胁情报

结果：通过为 SOC 工程师提供有关日志数据的即时指导，提高他们的有效性和效率。此外，还为初级 SOC 工程师提供有关系统数据的明确指导。

工作原理：构建新的检测时，通常需要将日志数据加载到 SIEM 工具中。理解日志数据有时对于初级团队成员来说是一个挑战，因此增强功能可用于帮助教育用户了解日志消息的各个部分的含义。

实例：

当系统生成日志消息并由 SIEM 系统收集时，系统应自动寻找对日志消息的含义创建更具描述性的解释。 如果产生以下日志消息： 5 月 1 日   16:17:43 owl sshd[9024]：接受来自 10.0.0.2 端口 37384 ssh2 的 root 公钥 然后 SIEM（或浏览器扩展）可以生成以下内容： 此日志消息提供有关已成功建立的安全外壳 (SSH) 连接的信息。以下是该消息的关键要素的细分： 1.      时间戳：5 月 1 日 16:17:43 — 这表示事件发生的日期和时间。 2.      主机名：owl — 这是生成日志消息的服务器的主机名。 3.      Process:   sshd[9024] — 这表示该事件是由进程 ID 为 9024 的SSH守护程序记录的。 4.      …… 总之，此日志消息表明 root 用户已使用公钥身份验证和   SSH-2 协议从客户端 IP 地址 10.0.0.2 成功建立了 SSH 连接。该事件由主机名“owl”的服务器上运行的 SSH 守护程序在指定时间记录。 根据威胁情报，应进一步调查此类事件，以确定这是否是合法连接。

示例 8：网格生成

相关角色：SOC 工程师

目标应用：网络安全网状架构（CSMA）产品、SOAR 产品、SIEM 系统、可观测平台、CNAPP、浏览器扩展

相关数据（知识图谱/向量DB）：SIEM数据、CNAPP数据、可观测性数据、漏洞数据、威胁情报、漏洞数据、监测数据

结果：整个安全生态系统具有更好的可见性和可操作性

工作原理：CSMA 是一种新兴的可组合且可扩展的架构方法，可在分散的 IT 世界中实现安全、集中的安全操作和监督。这种安全方法强调：

• 可组合、独立的安全监控

• 分析和执行

• 集中情报和治理

• 通用身份结构

CSMA 的组成部分之一是安全情报层。该层的关键功能在于能够从许多不同的单点产品（例如 SIEM 和 SOAR 解决方案、安全 Web 网关和云访问安全代理）获取信号，并应用基于关系的风险评分矩阵来提供多种类型的决策点。可以在这一层添加一个增强功能，利用基于来自各个单点解决方案的聚合数据的大语言模型，为安全生态系统生成建议的操作和风险评分。这可以作为安全智能层中的独立解决方案实施，也可以嵌入到 SIEM、SOAR 或网关解决方案中。

赋予员工生成增强功能以防止社工攻击

本节中的示例说明了生成如何帮助员工识别社工攻击，例如商业电子邮件泄露 (BEC)。

示例 9：BEC 身份识别

相关角色：员工

目标应用：电子邮件客户端（MS Outlook）

相关数据（知识图谱/向量DB）：威胁情报

结果：改进 BEC 电子邮件的识别，并为员工提供有关识别哪些信号以及如何继续的指导

工作原理：通过模型自动处理电子邮件，寻找 BEC 尝试的关键指标。这些信号可能是一种紧迫感或要求以某种方式转移资金，以及其他典型的网络钓鱼属性。然后，该扩展程序可以突出显示这些信号在电子邮件中的位置，为员工提供有关候选人消息为何可能存在问题的上下文信息。该扩展还可以提供一个侧边栏，其中包含有关如何进行的更多信息和指导。