Gartner预测2025年网络安全正在进入AI动荡时期：软件供应链和基础设施技术堆栈中毒将占针对企业使用的人工智能恶意攻击的 70% 以上

Gartner 预测，网络安全正在进入 AI 动荡时期。安全和风险管理领导者必须根据早期生成式 AI 部署的失败以及 AI 代理清洗来评估即将到来的 AI 进展。

主要发现

• 随着各大企业开展大量人工智能采用和开发项目，应用安全弱点的暴露程度不断提高，包括人工智能管道软件组件库存不足，为攻击者创造了新的攻击面。

• 早期生成式人工智能 (GenAI) 实验的挫折削弱了安全团队对 GenAI 潜力的信心，有可能导致忽视未来网络安全领域的人工智能创新。

• 组织继续生活在潜在的人工智能增强威胁的阴影之下，欺诈内容的生成正在大规模发生，虚假语音和深度伪造攻击成为强大的攻击媒介。

• 随着围绕对话式人工智能助手的狂热炒作逐渐平息，网络安全行业必须为供应商对基于人工智能代理的自动化技术的大力推动做好准备。

建议

安全和风险管理领导者应该：

• 审查现有的应用程序安全实践以处理传统的攻击面，同时检查开发生命周期中的新步骤和人工智能软件供应链中的新组件。

• 通过将小规模实验与对人工智能增强对安全团队的益处的持续评估相结合，优先考虑结果驱动的人工智能计划，而不是不明确、范围不广和难以衡量的转型计划。

• 通过重新评估通信渠道和凭证安全性来预测新一波的帐户接管攻击，特别是在半自动化和即将推出的 AI 代理架构中。

• 保持人工智能威胁情报功能，并针对观察到的有害深度伪造攻击调整其防御能力，从而为潜在的新威胁做好准备，而不必惊慌。

战略规划假设

• 2025 年，对软件供应链和基础设施技术堆栈的毒化将占企业使用的人工智能恶意攻击的 70% 以上。

• 到 2027 年，网络安全领域 90% 的成功人工智能实施将是战术性的（任务自动化和流程增强），而不是角色替代。

• 到 2027 年，人工智能代理将进一步自动化凭证窃取和破坏身份验证通信渠道，将利用账户暴露所需的时间缩短 50% 。

• 到 2028 年，40% 的社会工程攻击将不仅针对高管，还将利用深度伪造和其他伪造现实技术针对更广泛的劳动力。

分析

需要知道什么

ChatGPT 发布两年多后，GenAI 对安全领导者的影响是实实在在的。它改变了网络安全路线图，颠覆了现有计划，迫使安全领导者迅速踏上确保采用 AI 并在网络安全领域进行 AI 试验的旅程。经过数月的过高期望和真正的紧迫感，安全领导者学会了如何：

• 更好地评估可以改善其网络安全计划的 GenAI 功能

• 采取结构化的方法来保护其组织的 AI 计划。

随着人工智能的炒作，安全和风险管理领域人工智能的早期采用者经历了幻灭期，现在正转向更具战术性的人工智能实施，这更有可能取得成功。因此，对未来人工智能影响的预测成为安全活动的一部分。

但 Gartner 认为，这段平静期只是暂时的，新一轮动荡可能来自新兴的 AI应用部署形式。这些可能包括 AI 代理、企业和网络安全提供商的新一轮网络安全承诺，甚至攻击者利用 GenAI 迫使安全团队经历一系列新的破坏。这项研究侧重于AI 领域的关键发展对安全计划的潜在影响。

战略规划假设： 2025 年，软件供应链和基础设施技术堆栈的中毒将占企业使用的人工智能恶意攻击的 70% 以上。

主要发现：

• 黑客通常将大部分攻击集中在基础设施和供应链层面，除非他们瞄准的是特定目标。这样可以用最少的精力产生最大的影响。

• 开源模型和数据科学软件（如 Jupyter Notebook 或 Python 库）是新的 AI 攻击媒介。

• 并非所有传统应用程序安全工具都已发展到能够集成针对人工智能实体的漏洞扫描，这使得企业面临员工仅拥有有限工具来保护人工智能应用程序采用的风险。

• Gartner 收到来自客户的反馈，表明存在开源模型中毒的证据，而专门的 AI 安全供应商在客户站点定期对开源模型进行扫描，报告称多达 1% 的开源模型感染了恶意软件。此外，在客户站点还发现了数千台受感染的数据科学笔记本。

• 黑客还可以利用用户对数据管道的错误配置，将敏感信息窃取到犯罪服务器。攻击者发现，攻击数据管道比一次攻击一个运行时事务更有成效。

市场影响：

• 更多的AI模型市场将包括对下载的第三方和开源模型的安全模型扫描。

• 企业安全团队将越来越多地使用专门的人工智能安全供应商来扫描数据科学软件（如笔记本和机器学习（ML）管道）以及已部署的人工智能应用程序堆栈中的漏洞。

• 由于保护人工智能交互和企业数据安全的需要，机密计算、数据管道深度检查和其他工作负载强化技术等基础设施技术解决方案将得到更广泛的应用。

建议：

• 首先为 AI 应用程序构建强大的发现和盘点流程。然后确定可轻松应用于正在进行的 AI 项目的现有应用程序最佳实践。

• 启动人工智能应用的软件组成分析和漏洞评估程序。不要以为现有的基础设施安全和漏洞扫描工具能够正确处理人工智能组件。

• 使用包含信任、风险和安全管理 (TRiSM) 堆栈的所有层的分层方法来保护您的 AI 交互，并确保您的企业将重点从运行时向量扩展到软件供应链和基础设施堆栈。

• 部署 AI 治理工具，持续评估并确保所有 AI 资产（尤其是软件供应链中的资产）的安全态势。

• 升级或部署基础设施安全功能，以保护您的工作负载免受恶意渗透或泄露，例如机密计算和数据管道的深度检查。

战略规划假设：到 2027 年，网络安全领域 90% 的成功人工智能实施将是战术性的（任务自动化和流程增强），而不是角色替代。

主要发现：

• 随着人工智能代理在 2025 年达到炒作高峰，许多初创公司和网络安全平台声称可以实现整个工作流程的自动化。

• 安全和风险管理领导者对 GenAI的潜力持谨慎乐观态度，其中只有12% 已经取得了可衡量的成果。

• 尽管投入了大量资金并取得了进展，但 GenAI 技术在协调代理工作流程方面的整体成熟度仍然较低，并且一些基本限制尚未解决。

安全和风险管理领导者接受了 GenAI 的进步，测试和评估网络安全 AI 助手，并为 AI 信任、风险和安全管理 (AI TRiSM) 计划做出贡献，以确保利用 AI 的新业务项目。在这两种情况下，网络安全领域的一个 GenAI 悖论是，广泛采用和大量资源投入导致可衡量的成功有限，但并未导致对该方法的明显反对。

人们持续热衷的原因之一是，GenAI 为更具容错能力的工作流程（例如事件分析或漏洞优先级排序）开辟了自动化的可能性。根据2024 年 Gartner 设计和构建现代安全运营调查，只有 34%的受访者表示他们的组织已经实施了自动化漏洞优先级排序流程。这种需求是存在的。软件开发人员工具已经提供了由AI生成的自动修复程序（例如 GitHub Advanced Security）。然而，网络安全行业应该更好地抵御全面自动化和人员替换的必然承诺。在 Gartner 的2024 年生成式 AI 炒作周期中，自主代理正在接近膨胀预期的峰值，但需要 5 到 10 年的时间才能达到稳定期。安全和风险管理领导者长期以来一直承诺实现全面自动化，特别是在威胁检测和响应方面。过去，他们迷恋于神话般的完美解决方案，但在购买后才发现，虽然实现了检测，但响应功能有限，这是因为不可避免的误报和对业务中断的低容忍度。

市场影响：

• 致力于人工智能素养建设的安全团队将倡导更狭窄的人工智能实施，并强调需要根据定性和定量指标进行适当的人工监督。

• 专注于更具战术性的实施和自动化的关键任务，这些任务的好处是可以立即观察到的或更容易修复的，从而带来更好的结果，并更明智地投资资源。战术实施还使团队能够将商业工具与私人托管模型混合，从而开辟新的用例和更加个性化的实施。

• 成功的安全团队在尝试保护 AI 应用时，也会从网络安全实验中汲取灵感。他们将逐步整合特定于 AI 的要求和技术，同时与 AI 领域的同行合作，确保全面采用 AI TRiSM 原则。

• 供应商将继续声称他们的产品可以实现完全的角色替代，通常会推动行业朝着正确的方向发展，但短期内无法展示出可普遍推广和可衡量的人类级质量要求的结果。

• 从长远来看，企业期望和供应商承诺将会集中在少数几个选定的用例上，而通过专注于任务增强来预测这些用例的团队将取得更好的结果。

建议：

• 鼓励对最新技术和大胆宣称的初创企业进行有分寸的实验，但要求进行可见和可衡量的绩效评估。

• 继续在您的团队中建设 AI 素养，以设定切合实际的期望并为 AI 代理开发强大的评估框架。

• 将定期人工验证整合为半自动化工作流程的一部分，以保障关键技能。在测试期间实施人工样品验证，并在生产中维护一次。

• 通过扩展试点和严格的代理监控，确定每个用例的自主性和控制性之间的适当平衡。对员工进行代理交互和调试方面的培训。

战略规划假设：到 2027 年，人工智能代理将进一步自动化凭证窃取和身份验证通信渠道的破坏，以将利用账户漏洞的时间缩短 50%。

主要发现：

• 账户接管 (ATO) 仍然是一个持续的攻击媒介。弱身份验证凭据（例如密码）通过各种手段（数据泄露、网络钓鱼、社交工程、恶意软件）收集。然后，攻击者利用机器人自动对各种服务进行大量登录尝试，希望这些凭据在多个平台上重复使用。

• 使用带外通信通道的多因素身份验证 ( MFA) 方法也容易受到攻击。这些攻击包括捕获通过短信或电子邮件发送的一次性密码( OTP) ，或推送轰炸攻击，在这种攻击中，用户会收到大量移动推送提示，直到他们屈服。

• 人工智能代理将使 ATO 杀伤链中更多步骤实现自动化，从基于深度伪造声音的社会工程到用户凭证滥用的端到端自动化。

• 尽管大多数访问管理工具和一些大型消费者服务提供商现在都支持 FIDO2 密钥，但大多数最终用户组织和最终用户本身的采用进展缓慢。预计在可预见的未来，密码等传统凭证仍将持续存在。  

市场影响：

• 弱身份验证方法（例如密码）容易受到越来越多使用人工智能代理的自动化攻击，这将进一步加速向防网络钓鱼身份验证方法的转变。针对以下类型的成功攻击将会增加：

o   密码、基于 AI 代理或其他方式：导致更广泛地采用传统 MFA 技术（即，在现有密码中添加额外因素以减轻部分风险），并推动无密码 MFA 的采用。

o   主流 MFA 方法：推动采用 FIDO2 或 X.509 等防网络钓鱼 MFA。攻击示例包括中间人攻击 [ AITM ] 和针对主流 MFA 方法（例如无密码移动推送）的推送轰炸，

• 工具和技术将会不断发展，以促进对合法人工智能代理的检测，可能包括规定这些人工智能代理如何识别和验证与其交互的应用程序的新标准。

• 与当今的机器人检测市场类似，供应商将推出跨不同交互模式的产品，例如网络、应用程序、API 和语音渠道，以检测、监控和分类涉及人工智能代理的交互。

• 与当今提供恶意软件和漏洞利用工具的非法市场类似，恶意行为者将创建几乎不需要技术专业知识即可部署的 ATO AI 代理。其中许多将包含提示和指令，这些提示和指令可以提供给非为非法用途而设计的商用 AI 代理。

建议：

• 面对不断演变的人工智能威胁，加快向无密码防网络钓鱼 MFA （例如，FIDO2 设备绑定密钥）迈进。对于用户可能选择身份验证选项的客户用例，教育并激励用户在适当的情况下从密码迁移到多设备密钥，或在需要 MFA 时迁移到设备绑定密钥（例如，为了满足 PSD2 强客户身份验证要求）。

• 如果您无法摆脱某些应用程序的密码，请确保强制使用额外的强身份验证因素，例如具有数字匹配等补偿控制的移动推送应用程序。

• 随着 AI 代理检测的出现，请将其作为风险/信任信号添加到您的整体 ATO 预防框架中。但是，要小心不要过度依赖任何受攻击者和防御者在深度伪造和 AI 代理检测等领域的军备竞赛起伏影响的信号。

战略规划假设：到 2028 年，40% 的社会工程攻击不仅会针对高管，还会利用深度伪造和其他伪造现实技术针对更广泛的劳动力。

主要发现：

• 技术支持的社会工程学仍然是一种普遍且有问题的攻击媒介。其在攻击中的使用持续增加，对企业网络安全构成持续风险。

• 攻击者将社会工程学与伪造现实技术相结合，例如在与员工通话时使用深度伪造音频或视频。有少数利用深度伪造攻击组织的高调案例被报道，这些案例表明这种威胁是可信的，并导致受害组织遭受重大财务损失。

• 深度伪造检测技术尚处于萌芽阶段，且正在不断发展。由于通信的实时性以及可以使用的多种平台（例如电话、WhatsApp 、FaceTime 、Teams 、Zoom），将 Deepfake 检测技术应用于人与人之间的语音和视频通话的各种攻击面尤其具有挑战性。

市场影响：

• 专注于安全教育的供应商将扩大其产品范围，包括针对使用伪造现实技术（如深度伪造）的社会工程攻击的内容。同样，渗透测试供应商也将扩大其职权范围，将此类攻击纳入其中。

• 监管机构和网络安全保险公司将开始要求对特定的高风险行为（例如大额、非例行资金转移或授予特权系统访问权限）进行最低级别的身份验证和认证。

• 实时深度伪造检测将是概率性的，因此从本质上讲，其使用可能被视为值得怀疑。谁对任何未识别的深度伪造和攻击负责的问题也将妨碍自动检测。此外，由于攻击面随着许多通信渠道（例如电话、WhatsApp 通话、Zoom 通话）而扩大，即使在某些渠道中实施了深度伪造检测，也会使其他渠道不受保护，从而使攻击者转而关注。

• 组织将调整程序和工作流程，以更好地抵御利用伪造现实技术的攻击。敏感会议（例如董事会或高管层会议）可能会恢复面对面会议。

建议：

• 通过针对深度伪造的社会工程学进行专门的培训，让员工了解这些威胁，但不要主要依赖员工检测深度伪造的能力。

• 对于被视为中等风险的场景，实施带外验证流程。例如，使用另一个平台上的消息来确认指令。

• 尽可能实施电话回拨政策，负责敏感工作流程的员工在收到初始入站请求后必须进行电话回拨。

• 对于被视为高风险的场景，除了回拨策略之外，还要强化业务流程。消除任何单一通信可能触发严重有害行为的风险。例如，如果一个自称是 CFO 的呼叫者指示进行大额资金转移，那么在没有 CFO 首先在受 MFA 强访问控制管理的财务应用程序中授权的情况下，该指令在系统上不可能完成。

• 谨慎依赖两个用户执行操作。虽然这通常被认为是一种防御措施，但两个用户都可能成为深度伪造社交工程攻击的目标。在采用此方法时，请将此方法与上述其他检查相结合。

• 密切关注音频和视频通话中实时深度伪造检测的市场动态。该技术尚处于起步阶段，目前和长期来看能够带来多少价值尚不确定。通过添加设备标识符等确定性信号对其进行补充。