Gartner发布生成式网络安全AI指南：生成式网络安全AI影响CISO及其安全团队的 4 种方式

ChatGPT 和大型语言模型是生成式 AI 将重塑许多业务流程，安全和风险管理领导者（特别是 CISO）及其团队需要确保其组织构建和使用生成式 AI 的方式安全，并应对其对网络安全的影响。

影响

安全和风险管理市场中过度乐观的生成式AI（GenAI）公告的激增，可能推动安全团队生产力和准确性的提高，但也会导致浪费和失望。

对来自商业实验和非托管、临时员工采用的大型语言模型( LLM )等新一代人工智能应用程序的使用，会带来新的攻击面以及个人隐私、敏感数据和组织知识产权 (IP) 方面的风险。

许多企业纷纷利用自己的IP开发自己的GenAI应用，这对AI应用安全提出了新的要求。

攻击者将使用 GenAI。他们首先创建看似真实的内容、网络钓鱼诱饵和大规模冒充人类。他们能否成功利用 GenAI 进行更复杂的攻击的不确定性将需要更灵活的网络安全路线图。

建议

为了解决生成式AI对其组织安全计划的各种影响，首席信息安全官 (CISO)及其团队必须：

启动“生成式网络安全人工智能”实验，从安全运营中心 (SOC) 和应用程序安全的聊天助手开始。

与对 GenAI 有积极兴趣的组织同行（例如法律和合规部门以及业务部门的同行）合作，制定用户策略、培训和指导。这将有助于最大限度地减少 GenAI 未经批准的使用，并降低隐私和版权侵权风险。

在利用LLM和 GenAI开发新的第一方或使用新的第三方应用程序时，应用人工智能信任、风险和安全管理 (AI TRiSM) 框架。

强化他们评估不可预测威胁暴露程度的方法，并衡量其控制效果的变化，因为他们无法猜测恶意行为者是否以及如何使用 GenAI 。

战略规划假设

到 2027 年，生成式 AI 将通过改进其他技术的结果来对良性事件和恶意事件进行分类，从而将应用程序安全测试和威胁检测的误报率降低 30%。

到 2025 年，利用生成式人工智能的攻击将迫使具有安全意识的组织降低检测可疑活动的阈值，产生更多的错误报警，从而需要更多（而不是更少）的人类响应。

介绍

ChatGPT的炒作程度、规模和采用速度提高了最终用户对 LLM 的认识，导致LLM 应用程序的使用不受控制。它还为商业实验和一波基于人工智能的初创公司打开了大门，它们承诺从新的LLM和 GenAI 应用程序中提供独特的价值主张。许多业务和 IT 项目团队已经启动或即将启动GenAI计划。

CISO 和安全团队需要为生成式 AI 在四个不同领域的影响做好准备（另请参见图 1）：

1. “利用”生成式网络安全人工智能进行防御：接受授权，利用 GenAI 机会来改善安全和风险管理、优化资源、防御新兴攻击技术甚至降低成本。

2. 受到 GenAI 的“攻击” ：由于 GenAI 工具和技术的发展，适应恶意行为者不断发展其技术，甚至利用新的攻击向量。

3. 确保企业“构建”新一代人工智能应用程序的计划：人工智能应用程序具有扩大的攻击面，并带来新的潜在风险，需要对现有应用程序安全实践进行调整。

4. 管理和监控组织如何“使用” GenAI：ChatGPT 是第一个例子，下一步将是在现有应用程序中嵌入 GenAI 助手。这些应用程序都有独特的安全要求，而传统的安全控制无法满足这些要求。

无论安全性如何，企业都将拥抱生成式AI。

这项研究通过炒作提供了清晰的信息，并为这四个影响领域中的每一个提供了可行的建议，使 CISO 及其团队能够快速适应这种快速的变化。

影响和建议

影响1：GenAI 在安全和风险管理方面过于乐观的公告可能会推动改进，但也会导致浪费和失望

Gartner 将生成式网络安全 AI 定义为 GenAI 技术，该技术从现有（网络安全）数据或通过模拟代理学习工件的表示，然后使用它生成新的工件。

顾名思义，生成式网络安全 AI 的主要用例源自 GenAI。Gartner 已审查了安全提供商的30多个公告。两个最常见的生成网络安全人工智能用例是安全应用程序开发助手和安全运营聊天机器人。

安全应用程序开发助手

代码生成工具（例如GitHub Copilot、Amazon CodeWhisperer ）正在嵌入安全功能，应用程序安全工具已经在利用LLM 应用程序。这些安全代码助手的示例用例包括：

主要针对应用程序安全团队：

o 漏洞检测：突出显示提示中输入的代码片段中的问题或通过执行源代码扫描。

o 误报减少：用作其他代码分析技术的确认层，该功能分析报警和相关代码，并以对话语言指示为什么它可能是误报。

o 修复助手：建议更新代码以修复已识别的漏洞，作为生成的结果摘要的一部分。

主要针对开发团队，而不是安全人员：

o 代码生成：根据开发人员输入（包括自然语言注释或指令）创建脚本/代码，或充当高级代码完成工具。一些工具还可以指示生成的代码是否类似于开源项目，或者可以帮助验证代码（生成的或人工编写的）是否符合标准行业安全实践。

o 单元测试创建：建议对提交的函数进行一系列测试，以确保其行为符合预期并且能够抵抗恶意输入。

o 代码文档：生成一段代码的作用或代码更改的影响的解释。

虽然用例很容易识别，但对这些助手进行相关的定性测量还为时过早。虽然 ChatGPT 的一些临时评估需要谨慎，专业提供商正在这些工具上投入大量资源，并且 Gartner 预计未来会得到广泛采用。

安全运营工具集成

GenAI 实用程序已进入Microsoft 、Google、SentinelOne、CrowdStrike 和 Cisco等供应商的许多安全运营工具中。这些实用程序有可能提高普通管理员的工作效率和技能，并改善安全结果和通信。

GenAI 在 SOC 工具中的第一波实施包括对话提示，取代现有的基于查询的搜索功能，并作为用户的前端。这个新界面降低了使用该工具的技能要求，缩短了学习曲线的长度，并使更多用户能够从该工具中受益。

安全运营聊天机器人可以更轻松地从 SOC 工具中获取见解。但仍然需要经验丰富的分析师来评估输出的质量、检测潜在的幻觉并根据组织的要求采取适当的行动。

这些新一代人工智能功能将越来越多地嵌入现有安全工具中，以提高操作员的熟练程度和生产力。这些提示的首次实现支持威胁分析和威胁狩猎工作流程：

交互式威胁情报：访问技术文档、来自安全提供商的威胁情报或众包（单独或组合使用各种方法，包括即时工程、检索增强生成和使用 API 查询LLM 模型）。

报警富化：自动将上下文信息添加到报警中，包括威胁情报或已知框架中的分类。

报警/风险评分解释：完善现有评分机制以识别误报，或为现有风险评分引擎做出贡献。

攻击面/威胁摘要：聚合多个报警和可用监控信息，根据目标读者用例总结内容。

缓解助理：建议更改安全控制措施，新的或改进的检测规则。

安全工程自动化：利用对话提示按需生成安全自动化代码和手册。

文档：开发、管理和维护有凝聚力的安全策略文档以及最佳实践策略和程序。

对于不熟悉添加 GenAI 功能的安全工具的现有功能的人来说，这些功能可能看起来比实际情况更令人印象深刻。新颖性可能主要在于交互性，这很有价值，但搜索和分析功能已经可用。

对安全团队的短期影响

生成式网络安全人工智能将应用于许多其他计划。内容摘要和分类可能会对合规性和审计产生重大影响。从我们在应用程序安全测试 ( AST ) 中看到的扩展来看，通过利用 GenAI 减少误报、富化报警和缓解建议，漏洞评估和优先级排序也可以得到改进。

红队自动化也存在概念验证，主要是建议执行渗透测试“秘诀”的工具，例如PentestGPT软件，或用于漏洞评估自动化。

但 Gen AI不仅仅只是生成新内容。它可以用作洞察管道的一部分，或者用于分析和分类数据，这可以改进恶意软件和威胁检测。基于实时内容（例如传输中的数据、网络流量）的生成网络安全人工智能可能需要更多时间才能到达，因为它可能需要针对此类数据进行训练的专门（可能更小的）模型。

为大量拥有现有结构化数据集（例如分类电子邮件或恶意软件）的供应商做好准备，发布新的 GenAI 功能以进行威胁和异常检测。

全自动防御的前景

在从 2024 年开始的第二阶段，Gartner 预计安全提供商将发布试验复合 AI 潜力的功能，集成多个AI模型并将其与其他技术相结合。例如，GenAI 模块可以创建修复逻辑以响应检测到新恶意软件，并且多个自主代理将实施配方中的操作，其中可能包括隔离主机、删除未打开的电子邮件或共享妥协指标（IOC）与其他组织。承诺采取自动行动来防止攻击， 遏制横向移动或实时调整策略对于企业来说是一个非常好的差异化因素（如果它有效的话），对于技术提供商来说也非常好，无法传递。

自动响应的主要挑战是利益相关者的责任，而不是缺乏技术能力。GenAI 机制和数据源缺乏透明度，将增加安全领导者对直接根据生成网络安全人工智能应用程序的输出自动执行操作的犹豫不决。

无法解释和记录生成的响应将限制（但不会完全停止）响应自动化，特别是在关键操作或一线操作人员中。在组织对引擎获得足够的信任以逐步提高自动化水平之前，强制批准工作流程和详细的文档是必要的。良好的可解释性也可能成为安全提供商的差异化因素或某些地区的法律强制要求。

采用生成式网络安全人工智能时的主要挑战和建议

生成网络安全人工智能产品和功能的示例和首次演示吸引了许多安全专业人士。然而，对 Gartner 首席信息安全官 (CISO) 客户的询问表明，这些优势伴随着一些已确定的问题和挑战：

1. 短期员工生产力：报警富化会减少诊断疲劳还是通过添加生成的内容使情况变得更糟？初级员工可能只会因数据量而感到疲劳，因为他们无法真正确定数据是否有意义。

2. 隐私和第三方依赖：随着提供商急于发布功能，他们中的许多人利用第三方 LLM，使用 API 与 GenAI 提供商交互，或直接使用第三方库或模型。这种新的依赖性可能会带来隐私问题和第三方风险管理挑战。

3. 成本：许多新的生成网络安全人工智能功能和产品目前处于私人测试版或预览版。关于这些功能对安全解决方案价格的影响的信息很少。商业模型通常根据使用的代币数量定价，安全提供商可能会让他们的客户为此付费。训练和开发模型也很昂贵。使用 GenAI 的成本可能比解决相同用例的其他技术的成本高得多。

4. 整体质量：对于大多数生成式网络安全人工智能应用的早期实施，组织的目标是“足够好”和基本技能增强。尽管如此，对安全代码助手输出质量的首次评估给出的结果好坏参半。同样，威胁情报和报警评分功能可能会受到模型训练集的偏差或受到幻觉（捏造的不准确输出）的影响。

5. 回归到平均水平与最先进水平：对于特殊用例，例如针对高级攻击的事件响应，GenAI 发布的输出质量可能达不到最有经验的团队的标准。这是因为它的输出部分来自成熟度较低的实践发布的众包训练数据集。

生成式网络安全人工智能将影响安全和风险管理团队，但安全领导者还应该为 GenAI 对安全计划的“外部/间接”影响做好准备，例如辅助 RFP 分析、代码注释以及影响合规性、人力资源的各种其他内容生成和自动化和许多其他团队。

建议：

从安全运营和应用程序安全领域的有针对性的狭窄用例开始，对现有安全提供商的新功能进行实验。

建立或扩展现有指标，以针对其他方法对生成网络安全人工智能进行基准测试，并衡量预期的生产力改进。

确定您的公司在向应用程序提供反馈并提高其长期效率方面的立场。

识别数据处理和供应链依赖性的变化，并要求安全提供商的数据使用情况保持透明。

调整文档和可追溯性流程，以确保内部知识扩充，并避免仅向工具提供您的见解。

选择与相关安全用例或更高级团队一致的微调或专门模型。

“按原样”使用 GenAI 基础模型可能无法满足高级安全用例。

准备并培训您的团队，以处理来自企业中生成式 AI 使用的直接（隐私、IP、AI 应用安全）和间接影响（使用 GenAI 的其他团队，例如人力资源、财务或采购）。

影响2：商业实验和非托管、临时员工采用中的新一代人工智能应用程序的消费创造了新的攻击面和风险

自 2022 年底推出 ChatGPT 以来，Gartner 已处理了来自 CISO 的多次询问，他们希望更好地了解聊天机器人或其他企业应用程序的风险，以及他们应该采取哪些措施。Gartner 强调了未经批准使用 LLM应用程序带来的直接风险，例如：

1. 敏感数据暴露：有关提供商如何处理提示中发送的数据的规则因提供商而异。据供应商声称，企业无法验证其提示数据是否保持私密。他们必须依靠供应商许可协议来强制执行数据机密性。

2. 潜在的版权侵犯：来自生成的输出（基于组织无法识别的培训数据）的版权侵犯责任落在使用它的用户和企业身上。生成的输出也可能有使用规则。

3. 有偏见、不完整或错误的回答： “AI幻觉”（捏造答案）的风险确实存在，但由于依赖有偏见、碎片化或过时的训练数据集，答案也可能是错误的。

4. LLM 内容输入和输出策略违规：企业可以使用旧的安全控制来控制提示输入，但他们需要另一层控制来确保精心设计的提示符合其策略准则。例如，围绕违反预设道德准则的问题的传输。LLM的输出还必须受到监控和控制，以便它们也符合公司政策，比如围绕特定领域的有害内容。传统安全控制不提供这种类型的特定于域策略的内容监控。

5. 品牌损害：除了在面向客户的内容中发现的“重新生成响应”或“作为人工智能语言模型”的笨拙之外，您组织的客户可能会期望一定程度的透明度。

这些调查得出的共识是，员工和组织希望利用 GenAI 的优势来完成日常任务，而不是等待安全团队做好准备。

89% 的业务技术人员会绕过网络安全指导来实现业务目标。组织应该期待影子生成式AI，特别是来自主要任务是生成内容或代码的业务团队。

GenAI 应用程序的消费有四种主要形式：

第三方应用程序或代理，例如 ChatGPT 的网络或移动应用程序版本（开箱即用）。

嵌入企业应用程序的生成式AI：组织可以直接使用嵌入了 GenAI 功能的商业应用程序。例如，使用现有的软件应用程序，该应用程序现在包括LLM（例如 Microsoft 365 Copilot 或 Adobe Firefly 等图像生成功能）。

将模型 API 嵌入自定义应用程序：企业可以构建自己的应用程序，通过基础模型 API 集成 GenAI。大多数闭源 GenAI 模型（例如 GPT-3、GPT-4 和 PaLM）都可以通过云 API 进行部署。这种方法可以通过即时工程进一步完善——这可能包括模板、示例或组织自己的数据，以更好地为LLM输出提供信息。一个示例是搜索私人文档数据库以查找相关数据以添加到基础模型的提示中，并使用这些附加的相关、类似信息来增强其响应。

通过微调扩展 GenAI：微调需要 LLM 并针对特定用例在较小的数据集上进一步训练它。（请注意，并非所有LLM都可以进行微调）例如，保险公司可以使用自己的保单文档微调基础模型，将这些知识纳入模型并改进其在特定用例上的性能。即时工程方法受到模型上下文窗口的限制，而微调可以合并更大的数据集。

第三方模型的集成和微调模糊了消费和构建您自己的 GenAI 应用程序之间的界限。

集成或私下托管第三方模型的自定义代码要求安全团队通过添加基础设施和内部应用程序生命周期攻击面管理，将其控制范围扩展到使用第三方人工智能服务、应用程序或代理所需的控制范围之外。

防止未经批准的使用的能力是有限的，特别是因为员工可以从非托管设备访问 GenAI 应用程序和商业或开源 LLM。尽管如此，组织仍然可以利用五种策略来更好地控制 GenAI 的消耗（另请参见图 2）：

1. 定义治理实体和工作流程：直接目标是为所有业务和项目建立清单，并定义可接受的用例和策略要求。GenAI 应用程序可能需要特定的审批工作流程和持续的使用监控（如果可能），但还需要定期的用户证明，证明实际使用符合预设意图。

2. 监控和阻止：当ChatGPT公开时，许多组织决定阻止对 OpenAI 域的访问或应用某种程度的数据泄露预防，利用其现有的安全控制，例如可以拦截已知应用程序的 Web 流量的安全服务边缘 (SSE)提供商。

3. 快速传达简短的可接受的使用政策：通常，一页或两页的政策文件可用于共享内部联系人以供批准、突出应用程序的风险、禁止使用客户数据以及请求输出的文档和可追溯性由这些应用程序生成。

4. 研究提示工程和 API集成：使用自定义提示拦截输入和输出可能会改善结果，但也可以实现更多安全控制。较大的组织可能会研究即时增强技术，例如检索增强生成（RAG）。

5. 优先选择可用的私人托管选项，这提供了额外的安全和隐私控制。

安全领导者必须承认，阻止已知域和应用程序不是一个可持续或全面的选择。它还将触发“用户绕过”，员工将与不受监控的个人设备共享公司数据，以便访问这些工具。许多组织已经从阻止转向“批准”页面，其中包含指向组织政策的链接和提交访问请求的表格。

生成式AI消费是一个新的攻击面

与任何创新一样，恶意行为者将寻求创造性的方法，以新颖的方式利用 GenAI 安全实践和意识的不成熟。

也许生成式AI的最大风险是它有可能快速创建可信的虚假内容来影响大众舆论，并提供看似合法的内容来为诈骗增加一层真实性。在确保 GenAI 消耗安全时，CISO 及其团队应预见攻击面的以下变化：

生成式AI作为诱饵：GenAI 的流行将导致大量使用该主题作为吸引受害者的诱饵和一种新的潜在欺诈形式。预计会出现假冒 GenAI 应用程序、浏览器插件、应用程序和网站。

数字供应链：攻击者将利用 GenAI 组件中的任何弱点，这些组件将作为微服务广泛部署在流行的业务应用程序中。这些子例程可能会受到许多机器学习 (ML) 攻击技术的影响，例如训练数据操纵和其他操纵响应的攻击。预测这些嵌入式组件（即 Log4j）的关键漏洞和补丁管理。

对抗性提示：应用程序直接和间接提示是一个突出的攻击面。在使用第三方 GenAI 应用程序或构建自己的 GenAI 应用程序时，“即时注入”和“对抗性提示”的概念会成为威胁。

“即时注入”是一种对抗性提示技术。它描述了在应用程序的对话或系统提示界面或生成的输出中插入隐藏指令或上下文的能力。

早期的研究工作展示了如何利用应用程序提示。安全团队需要将此新界面视为潜在的攻击面。Gartner 预计现有安全工具将嵌入及时的安全功能，并且新的提供商将出现提供及时的安全服务，但攻击者和安全控制之间的差距将至少持续几个月。

审计和监管将影响生成式AI的消费

即将出台的法规对于使用（和构建）人工智能应用程序的组织来说也是一个潜在威胁。由于法律可能会改变对提供商的要求，来自受到严格监管的行业的组织，或者在隐私法更严格的地区也正在积极寻求制定人工智能法规的组织，可能需要暂停或恢复LLM申请的消费。

详细程度可能会有所不同，具体取决于内容的敏感性。应用程序和服务可能包括日志记录，但组织可能需要为最敏感的内容实施自己的流程，例如生产中部署的代码、规则和脚本。

建议：

治理：

除了前面强调的五种策略之外，CISO 及其团队还应与相关利益相关者和组织同行合作，以：

制定公司政策，明确列出治理规则，包括所有必要的工作流程，并利用现有数据分类来限制提示和第三方应用程序中敏感数据的使用。

制定用户政策、培训和指导，以尽量减少未经批准的 GenAI 使用、隐私和版权侵权风险。

要求完成隐私和人工智能法规要求的必要影响评估，例如欧盟的《通用数据保护条例》(GDPR) 和即将出台的《人工智能法案》。

定义用于清点、批准和管理GenAI 消耗的工作流程。将“生成式人工智能作为一项功能”纳入现有产品的软件更新中。

对具有最高潜在业务影响的用例进行分类，并确定更有可能快速启动项目的团队。

为利用 GenAI 的提供商定义新的供应商风险管理要求。

获取并验证托管供应商的数据治理和保护保证，确保传输到其大型语言模型 (LLM) 的机密企业信息（例如以存储提示的形式）不会受到损害。这些保证是通过合同许可协议获得的，因为在托管环境中运行的机密性验证工具尚不可用。

安全举措：

优先考虑具有直接财务和品牌影响的用例的安全资源参与，例如代码自动化、面向客户的内容生成和面向客户的团队（例如支持中心）。

评估第三方安全产品：

o 非人工智能相关控制（例如 IAM、数据治理、SSE 功能）

o AI 特定安全（例如监控、控制和管理 LLM 输入）

准备评估新兴产品，实现提示的零代码定制。

测试新兴产品，检查和审查输出是否存在潜在的错误信息、幻觉、事实错误、偏见、侵犯版权以及该技术可能生成的其他非法或不需要的信息，这些信息可能会导致意外或有害的结果。或者，实施临时人工审核流程。

逐步部署自动化操作，并且仅使用预先设定的准确性跟踪指标。确保任何自动化操作都可以快速轻松地恢复。

评估第三方申请时包括 LLM 模型透明度要求。第一个工具不包括对用户操作的必要可见性。

考虑较小或特定领域的 LLM 的私有托管的安全优势，但与基础设施和应用程序团队合作评估基础设施和运营挑战。

影响3：众多企业争相利用自有IP开发自己的GenAI应用，对AI应用安全提出新要求

除了使用第三方应用程序和服务之外，许多组织还将构建自己的 GenAI 应用程序，这将带来新的风险，例如对 ML 模型的攻击和数据投毒。

在《人工智能信任、风险和安全管理市场指南》中，Gartner 确定了针对人工智能应用程序的安全和安全性的四类要求：可解释性和模型监控、模型操作、人工智能应用程序安全性和隐私。这些要求遵循最先进的人工智能和 GenAI 实施的进展，并将继续发展。

GenAI 应用程序的控制实施将在很大程度上取决于人工智能模型的实施。安全控制的范围将取决于应用程序是否包括：

自己的模型——内部训练和构建

根据内部数据训练的第三方模型

微调第三方模型

开箱即用模型的私人托管

在构建和训练您自己的模型时，安全和开发团队共同承担防御整个人工智能攻击面的责任。在微调模型时，组织可以使用合成数据。这可能会提高安全性，但也会对应用程序的准确性产生负面影响。当托管已经经过预训练的开箱即用模型时，这些技术不可用。

但在包含第三方模型时，仍然存在一些必须解决的攻击面，例如对抗性直接和间接即时注入，以及与模型本身相关的数字供应链管理挑战。

然后，即使托管开箱即用的第三方应用程序或模型，CISO 及其团队也将负责基础设施和数据安全，但也必须参与管理第三方的风险和漏洞。当事人人工智能应用程序、代理或模型。

2023 年 3 月，OpenAI 分享了有关如何使用“红队”使 GPT-4 更能抵抗对抗性和其他恶意输入的详细信息。红队LLM申请，通过结合手动和自动的对抗性提示，成为一种必要的实践，即使对于较小的团队来说可能太复杂了。

Gartner 已经看到专业的 AI 安全供应商增加了帮助保护 GenAI应用程序的功能，特别是“即时安全”服务。

建议：

适应混合开发模型，例如前端包装（如即时工程）、第三方模型的私有托管以及具有内部模型设计和微调的自定义 GenAI 应用程序。

在训练和微调模型时考虑数据安全选项，特别是对准确性或额外成本的潜在影响。这必须与现代隐私法的要求进行权衡，其中通常包括个人请求组织删除其数据的能力。

一旦提供安全 GenAI 编码培训，即可提高您的安全拥护者的技能。

应用 AI TRiSM 原则并更新安全最佳实践以包含 AI 应用程序要求。

添加针对对抗性提示和提示注入进行测试的要求。

监控模型操作工具的改进。

影响4：攻击者将使用生成人工智能

CISO 及其团队必须在没有强有力的事实基础或直接证据证明对抗性使用 GenAI 的全面影响的情况下应对这一威胁。Gartner 将“使用人工智能的攻击者”归类为不确定威胁。不确定的威胁通常可能是真实存在的，但目标企业缺乏直接、明显的立即响应。

攻击者已经在探索GenAI的创造性用途，如果以历史为鉴，就像任何新技术一样，攻击者将会利用它。Gartner 预计攻击者可以获得大多数行业期望从 GenAI 获得的相同好处：生产力和技能增强。GenAI 工具将使攻击者能够以低成本提高攻击的数量和质量。然后，他们将利用该技术在扫描和利用活动等领域实现更多工作流程的自动化。

对于恶意行为者来说，使用LLM和生成式人工智能的主要好处包括：

攻击者生产力：GenAI 可以通过以下方式帮助攻击者发起更多攻击：

o 技能提升：GenAI 降低了编写可信诱饵以及语法正确的代码和脚本所需的培训。

o 自动化：链接任务、提供配方并与外部资源集成以实现更高级别的任务。

o 可扩展性：由于内容生成更加自动化，攻击者可以快速开发针对杀伤链的大多数阶段的有用内容，或者发现更多漏洞。

合理性：GenAI 应用程序可以帮助发现和管理来自多个来源的内容，以提高诱饵和其他欺诈内容（例如，品牌假冒）的可信度。

模仿：GenAI 可以创建更真实的人类语音/视频（深度伪造），这些语音/视频似乎来自可信来源，并可能破坏身份验证和语音生物识别技术。

多态性：GenAI 可用于开发多种攻击，这比重新包装多态性更难检测。

自主性：使用LLM作为控制器来实现更高级别的自主本地行动决策或更自动化的命令和控制交互（因为服务器组件将利用GenAI ）。

新颖的攻击类型：GenAI 带来的最严重的安全威胁将是大规模发现全新的攻击类别。尽管安全行业会利用这种情况来灌输恐惧，但没有证据表明这种情况比人类威胁行为者发现的可能性更大。

攻击者已开始利用该技术的内容生成功能，大规模、低成本地制作更好的恶意和欺诈内容。已经有很多 ChatGPT 的威胁研究示例，这些示例利用公共领域知识定制了更可信的网络钓鱼诱饵。

很明显，使用 GenAI 将使攻击者能够更快地生成更好的诱饵，但尚不清楚攻击目标是否会多样化。因此，专注于“号召性用语”的防御性解决方案将保留价值。反垃圾邮件解决方案多年来一直在使用机器学习。贝叶斯垃圾邮件过滤在 20 世纪 90 年代末被部署在商业垃圾邮件过滤器中。最近，Abnormal Security、Proofpoint 和 Tessian 等供应商的社交图谱 AI 解决方案已经发展到可以检测假冒尝试。

尽管预测更先进的 GenAI 功能对恶意软件有何作用的智力练习很有趣，但Gen AI 生成代码的能力主要是一种技能增强功能，使技能较低的攻击者能够创建恶意软件。尽管不欢迎更多的恶意软件和恶意软件作者，但现有技术（即 ML 防病毒检测和行为检测）可以解决 GenAI 的这一方面问题。

多态恶意软件（针对同一攻击快速迭代新代码）已存在多年。现有的滞留技术，例如机器学习和“云查找”，能够管理多态性和增加的数量。当高级网络犯罪团体开始构建可能依赖于自定义模型的更复杂的恶意软件时，他们可能会将这些恶意软件“作为服务”提供，如用于绕过多因素身份验证的 EvilProxy 和用于勒索软件的 REvil 的示例所示。这些更先进的恶意软件虽然数量更有限，但恶意软件创建者可能会根据现有的检测技术进行更规避和预先测试。生成式AI已经被用来发现新的 代码中的漏洞。如果 GenAI 比当前方法更擅长这项任务，零日攻击将变得更加常见。Gartner 预计这将加速针对广泛部署和特权应用程序的更多供应链攻击的发展。这可能是需要快速反应响应的领域。因此，最终用户组织应该开发应对供应链妥协的手册，并评估工具和服务来监控其软件依赖性。

对于攻击者和防御者来说，最大的风险是弄清楚 GenAI 是否能够反复找到能够持续绕过现有防御的新颖攻击类型。

更重大的风险是 GenAI 是否能够反复找到绕过现有行为防御的新颖攻击技术。这种情况不太可能发生，至少在短期内是这样。创建全新的攻击技术需要一群积极主动、资金充足的聪明人来有效地提示系统，可能是一个具有适当训练数据的私有模型，并且输出足够独特，不会被现有的机器学习或行为系统检测到。

然而，如果有足够的时间和资源，GenAI 可能会偶然发现一种全新的对抗技术。虽然受过教育的攻击者的创造性提示输入可能会使用意想不到的新技术来最初逃避基于行为的检测，但持续生成新的行为技术将很困难。

与此同时，如前几节所示，防御者已经在探索对抗性 GenAI，以了解其潜力并开发新的防御措施。总体而言，Gartner 将 GenAI 主要视为一种新的生产力工具，适用于已经积极主动的专业攻击者，但没有直接证据表明它会将力量平衡转移到攻击者身上。

安全领导者必须避免因炒作而分心，并专注于监控现有和新兴威胁媒介的微观趋势。然后，他们需要加强对弹性的投资，并减少对威胁类别的投资，而不是单个已知的攻击。

建议：

CISO 及其团队应适应攻击者使用 GenAI 的潜在影响：

考虑到任何安全投资的正确顺序是人员、流程，然后才是技术。重点关注与人类解释密切相关的威胁向量，这些威胁向量受到生成的内容的影响，而这些内容没有现有的技术控制。

监控行业统计数据以衡量 GenAI 对攻击者格局的影响。

确保您可以测量检测率与现有对照的偏差。

提高现有安全控制中对更具适应性的行为和机器学习防御的要求。目前，只有 50% 的企业终端具有基于行为的检测逻辑。

挑战所有现有和潜在的安全基础设施供应商，概述产品和研究将如何发展，以应对 GenAI 带来的威胁和策略的新出现速度。谨防这方面夸大的说法。

评估关键数字供应链软件的业务依赖性并开发零日漏洞攻击手册。

减少“盲点”的数量——您无法监控异常情况的资产、交易和业务流程。

解决欺诈内容潜在增加的风险并影响企业品牌的运营。

将 GenAI 内容添加到安全意识培训和网络钓鱼模拟中。加强业务工作流程，以更好地抵御现实的网络钓鱼活动以及语音和视频模仿。