2025年值得关注的6个人工智能相关安全趋势

2025年值得关注的6个人工智能相关安全趋势

人工智能工具将在未来一年为组织带来显著的生产力和效率效益，但也会加剧隐私、治理和安全风险。

​​

大多数行业分析师预计，企业将在明年加快努力，在各种用例中利用生成式人工智能 (GenAI) 和大型语言模型 (LLM)。

典型的例子包括客户支持、欺诈检测、内容创建、数据分析、知识管理，以及越来越多的软件开发。最近，Centient 代表 OutSystems 对 1,700 名 IT 专业人士进行了一项调查，81% 的受访者表示，他们的组织目前正在使用 GenAI 协助编码和软件开发。近四分之三 (74%) 的受访者计划在未来 12 个月内使用人工智能开发方法开发 10 个或更多的应用程序。

虽然这样的用例承诺为组织提供显著的效率和生产力收益，但是它们也引入了新的隐私、治理和安全风险。以下是六个与人工智能相关的安全问题，业内专家表示，IT 和安全领导人在未来 12 个月应该关注这些问题。

人工智能编码助手将走向主流——风险也将随之而来

基于人工智能的编码助手，如GitHub Copilot、Amazon CodeWhisperer和OpenAI Codex等将从试验阶段和早期采用者状态发展到主流应用，尤其是在初创组织中。这些工具宣传的优点包括提高开发人员生产力、自动化重复任务、减少错误以及缩短开发时间。然而，与所有新技术一样，也有其缺点。从安全角度来看，其中包括自动代码响应，例如易受攻击的代码、数据暴露以及不安全的编程实践传播。

Digital.ai首席执行官德里克·霍尔特 (Derek Holt) 表示：“虽然基于人工智能的代码助手在自动完成、代码生成、重用方面无疑具有强大的优势，并且使非工程受众更容易进行编码，但并非没有风险。 ”最大的问题是，人工智能模型只能像它们所训练的代码那样好。霍尔特表示，早期用户在使用人工智能编码助手进行开发时看到了编码错误、安全性反模式和代码蔓延。“企业用户将继续需要通过动态应用程序安全测试（或 DAST）和静态应用程序安全测试（或 SAST）扫描已知漏洞，并加强代码以防止逆向工程尝试，以确保负面影响最小化并实现预期收益。”

人工智能加速xOps实践

随着越来越多的组织致力于将人工智能功能嵌入其软件，预计DevSecOps、DataOps和ModelOps——或管理生产中的人工智能模型的做法——将会融合到一个更广泛、全面的xOps管理方法中。Holt说。推动人工智能赋能软件的趋势正在日益模糊传统声明式应用程序之间的界限，这些应用程序遵循预定义规则以实现特定结果，并且LLMs和GenAI应用程序可以根据从训练数据集中学习到的模式动态生成响应。Holt指出，这一趋势会给运营、支持和QA团队带来新的压力，并推动采用xOps。

“xOps是一个新兴术语，概述了在创建利用内部或开源模型的应用程序时所需的DevOps要求，这些模型是基于企业专有数据进行培训的。”他说，“这种新方法认识到，在交付利用人工智能模型的移动或Web应用程序时，需要将传统的DevSecOps流程与DataOps、MLOps和ModelOps集成并同步到一个集成的端到端生命周期中。”Holt认为，这套不断发展的最佳实践将成为确保高质量、安全和支持性增强人工智能应用的关键。

Shadow AI： 一个更大的安全头疼问题

GenAI 工具种类广泛且增长迅速，使用起来非常方便。这导致许多组织未经授权地使用这些技术，并给已经不堪重负的安全团队带来了一系列新的挑战。例如，在员工中快速普及的——而且通常不受管理的人工智能聊天机器人在各种目的中的应用。这一趋势加剧了人们对许多机构无意间暴露敏感数据的关注。

Darktrace 战略网络人工智能副总裁 Nicole Carignan 预计，安全团队将在未来一年内看到此类工具未经批准使用的激增。“我们将看到企业内部和员工所用设备上使用 AI 和生成式 AI 的工具爆炸性增长”，Carignan 说，“如果不加以控制，这将引发有关数据丢失预防以及随着欧盟《AI 法》等新法规开始生效而产生的合规问题的重大疑问和担忧。”她表示：“首席信息官（CIO）和首席信息安全官（CISO）将面临越来越大的压力，需要实施检测、跟踪和根除其环境中未授权使用 AI 工具的能力。”

AI将增强而非取代人类技能

人工智能擅长处理海量威胁数据并识别其中的模式。但至少在一段时间内，它充其量只是一个增强工具，能够熟练地处理重复性任务，并实现基本威胁检测功能的自动化。根据SlashNext电子邮件安全+公司现场首席技术官Stephen Kowski的说法，在未来一年中，最成功的安全计划将继续是将人工智能的处理能力与人类创造力相结合的计划。许多组织仍需要人类的专业知识来识别和应对超越人工智能系统所使用的历史模式的真实世界攻击。有效的威胁狩猎将继续依赖于人类直觉和技能来发现细微异常，并连接看似无关的指标，他说。“关键是达到适当的平衡，让人工智能处理高容量的常规检测，而熟练的分析师则调查新的攻击模式，并确定战略响应。” 人工智能快速分析大量数据的能力将提高网络安全工作者加强数据分析技能的需求，Bugcrowd高级服务副总裁Julian Davies补充道。“解释由人工智能生成的见解的能力对于检测异常、预测威胁以及增强整体安全性措施至关重要。”他补充说，随着企业寻求从他们的AI投资中获得最大价值，即时工程技能也将变得越来越有用。

攻击者将利用AI来探索开源漏洞

ColorTokens 的现场首席技术官 Venky Raju 预计，威胁行为者将利用人工智能工具来利用漏洞，并在开源软件中自动生成攻击代码。“即使是闭源软件也不安全，因为基于 AI 的模糊测试工具可以在不访问原始源代码的情况下识别漏洞。此类零日攻击是网络安全社区的重大关注点。”Raju 说。

在今年早些时候的一份报告中，CrowdStrike 指出，AI 启发的勒索软件就是攻击者如何利用 AI 来提高其恶意能力的一个例子。攻击者还可以使用 AI 研究目标、发现系统漏洞、加密数据以及轻松适应和修改勒索软件以逃避端点检测和补救机制。

核实，人类监督将至关重要

组织将继续发现很难完全和隐含地信任人工智能去做正确的事情。Qlik 对 4,200 名高管和 AI 决策者进行的一项最新调查显示，大多数受访者都十分青睐将 AI 应用于各种用途。与此同时，37％ 的人表示他们的高级管理人员对 AI 缺乏信心，而 42％ 的中层管理者也表达了同样的看法。约有 21％ 的人报告说客户也不相信 AI。

“正如当前的研究显示消除偏见和幻觉可能适得其反且不可能的那样，对 AI 的信任仍将是在风险与收益之间复杂平衡的结果。”SlashNext 的 Kowski 表示，“虽然行业协议提供了一些道德框架，但伦理的主观性意味着不同的机构和文化会继续以不同方式解释和实施 AI 指南。”他指出，实际的做法是实施强大的验证系统并保持人类监督，而不是寻求完美的可信度。

Bugcrowd 的戴维斯表示，已经越来越需要能够处理 AI 道德影响的专业人士。他们的角色是确保隐私、防止偏见和保持 AI 决策的透明度。“测试 AI 独特的安全性和使用案例的能力变得至关重要”，他说。

‍