Gartner发布2025 年十大战略技术趋势:虚假信息安全是由生成式AI引发的一场数字军备竞赛,将愈演愈烈

我们确定了未来五年及以后影响最大的十大战略技术趋势,这些趋势涵盖了人工智能的必要性和风险、计算的新前沿和人机协同。跟踪这些趋势将有助于 IT 领导者以负责任的创新塑造未来。

人工智能的必要性和风险

计算的新前沿

人机协同

代理人工智能

后量子密码学

空间计算

人工智能治理平台

环境隐形智能

多功能机器人

虚假信息安全

节能计算

神经增强

混合计算

以下是2025年重要战略技术趋势。

代理型AI(Agentic AI)

代理型AI通过自主规划和采取行动实现用户定义的目标。代理型AI为实现能够分担和补充人类工作的虚拟劳动力带来了希望。Gartner 预测,到2028年,至少15%的日常工作决策将由代理型AI自主做出,而2024年这一比例为0%。这项技术的目标导向型功能将实现适应性更强、能够完成各种任务的软件系统。

代理型AI有望实现企业首席信息官(CIO)提高生产力的愿望。这一动机促使企业与厂商探索、开创和建立能够提供稳健、安全和可信的代理型AI所需的技术和实践。

AI治理平台(AI Governance Platforms)

AI治理平台是Gartner不断发展的AI信任、风险和安全管理(TRiSM)框架的一部分。AI TRiSM使企业能够管理其AI系统的法律、道德和运营绩效。这种技术解决方案能够创建、管理和执行负责任的AI使用策略、解释AI系统的工作原理并提供透明度以建立信任和问责制。

Gartner预测,到2028年,采用综合AI治理平台的企业将比没有这类系统的企业减少40%与AI相关的伦理事件。

虚假信息安全(Disinformation Security)

虚假信息安全是一个新兴技术类别。该技术能够系统地辨别信任度,旨在提供一个能够确保信息完整性、评估真实性、防止冒名顶替和追踪有害信息传播的方法体系。Gartner预测,到2028年,将有50%的企业开始采用专为应对虚假信息安全用例而设计的产品、服务或功能,而目前这一比例还不到 5%。

AI和机器学习工具的广泛可用性和高级状态被用于恶意目的,预计将增加针对企业的虚假信息事件数量。如果这种趋势不被加以控制,那么虚假信息可能会对企业造成重大且持久的损害。

后量子密码学(Postquantum Cryptography

后量子密码学能够保护数据免受量子计算解密风险。根据量子计算过去几年的发展情况,目前广泛使用的几种传统加密技术将被淘汰。由于改变加密方法并非易事,企业必须有更长的准备时间,才能为一切敏感或机密信息提供强有力的保护。

Gartner预测,到2029年,量子计算技术的进步将使大多数传统的非对称加密技术变得不安全。

环境隐形智能(Ambient Invisible Intelligence)

环境隐形智能是由成本极低、体积小巧的智能标签和传感器实现的,这些传感器能够提供大规模、经济实惠的的追踪和传感。长远来看,环境隐形智能将使传感器和智能技术无缝融入我们的日常生活中。

到2027年,环境隐形智能的早期示例将以解决当前问题为主,例如零售库存检查或易腐货物物流等,通过实现低成本的实时物品追踪和感知来提高可见性和效率。

节能计算(Energy-Efficient Computing)

IT以多种方式影响可持续性。在2024年,碳足迹是大多数IT组织的首要考虑因素。计算密集型应用,例如AI训练、模拟、优化和媒体渲染等由于能耗最高而可能成为企业碳足迹“大户”。

预计从2020年代末开始将出现一些新的计算技术,如光学、神经形态和新型加速器等。这些新技术将被专门用于特殊任务,例如AI和优化,并显著降低能耗。

混合计算(Hybrid Computing)

新的计算范式正在不断涌现,包括中央处理单元、图形处理单元、边缘、特定应用集成电路、神经形态以及经典量子计算、光学计算范式。混合计算结合不同的计算、存储和网络机制解决计算问题。这种计算形式能够帮助企业探索和解决问题,使AI等技术能够突破当前的技术限制。混合计算将被用来创建比传统环境更高效的变革性创新环境。

空间计算(Spatial Computing)

空间计算利用增强现实和虚拟现实等技术,以数字方式增强物理世界。它将实体和虚拟体验之间的交互提升到一个新的级别。在未来五到七年内,空间计算的使用将通过简化工作流程和增强协作能力来提高企业效率。

Gartner 预测,到2033年,空间计算市场将从2023年的1100亿美元增长至1.7万亿美元。

多功能机器人(Polyfunctional Robots)

多功能机器人能够执行多项任务,它们正在取代为重复执行一种任务而专门设计的特定任务机器人。这种新型机器人的功能性能够提高效率和投资回报率(ROI)。多功能机器人可以与人类一起协作,能够快速部署和轻松扩展。

Gartner预测,到2030年,80%的人类将每天与智能机器人打交道,而目前这一比例还不到10%。

神经增强(Neurological Enhancement)

神经增强利用读取和解码大脑活动的技术提高人类的认知能力。这项技术能够使用单向脑机接口或双向脑机接口(BBMI)读取人的大脑,在人类技能提升、下一代营销和提升表现这三个主要领域具有巨大潜力。神经增强将提高人类的认知能力,帮助品牌了解消费者的想法和感受并增强人类的神经功能,从而获得最佳的结果。

Gartner预测,到2030年, 30%的知识工作者将通过BBMI等技术(资金来源包括雇主和个人)提升自己的能力,并凭借这些技术来适应工作场所中AI的崛起。这一比例在2024年还不到 1%。

 

虚假信息安全

在虚假信息泛滥的时代,确保通信、身份和声誉的信任至关重要。这项研究解释了为什么 IT 领导者应该与其他领导者合作,评估虚假信息安全工具和实践,找出其工作流程中的漏洞并努力弥补这些漏洞。

机会

  • 深度伪造(“ deepfakes ”)可能被用于欺骗观众或实施欺诈;仅一次事件就可能造成数千万美元的损失。依靠人类检测深度伪造的能力(即使经过培训)很少有效;然而,加强业务工作流程并直接在工作流程中简化识别工具既实用又可扩展。

  • 账户接管使不良行为者能够冒充受信任的用户。仅凭身份验证不足以防止账户接管;商业电子邮件泄露仍然是造成财务损失的主要攻击媒介( 2023 年仅占互联网犯罪案件的 2.4%,但损失高达 29亿美元)。情境感知自适应信任超越了多因素身份验证,可提供对用户身份和操作的持续验证。

  • 信息,无论真假,都可能在网上迅速传播,损害品牌及其声誉,并导致抵制,损害公关并削弱股价。了解人们在说什么以及说的人,对于在危机时刻制定战略应对措施至关重要。

建议

  • 采用多层方法来验证实时通信系统的完整性,包括深度伪造检测技术。身份验证等用例可能会提供深度伪造检测功能,而其他用例(例如验证第三方多媒体内容)可能需要专用产品。

  • 结合持续自适应信任模型,通过超越多因素身份验证来防止冒充。构建多层身份验证策略,在所有用户会话中结合持续基于风险的评分,并提供实时警报和控制。

  • 通过在威胁情报功能中添加叙述和媒体监控,保护品牌和 VIP 声誉,防止虚假信息通过社交媒体和大众媒体传播。利用跨职能团队进行员工教育、制定战略和提供响应。

战略规划假设

到 2028 年,50% 的企业将采用产品、服务或功能来解决虚假信息安全用例,而 2024 年这一比例还不到 5% 。

需要知道什么

虚假信息安全是一类不断扩展的技术和实践,旨在提供辨别信任、评估真相和追踪信息传播的方法。此领域技术的企业用例包括:

  • 内容真实性

  • 叙事智慧

  • 身份保证

  • 预防欺诈

  • 事实核查

  • 品牌声誉

图 1 突出显示了虚假信息安全涵盖的关键主题和话题。

图 1:什么是虚假信息安全?

能够生成高质量、逼真且令人信服的虚假信息的生成式人工智能 (GenAI) 软件的可用性现在比以往任何时候都高。与此同时,可以针对组织发起虚假信息攻击的数字渠道数量正在增加。这导致员工、他们的合作伙伴和他们的客户质疑他们是否能相信他们所看到、听到或读到的内容。

领先于虚假信息已经是一场数字军备竞赛,而且预计只会变得更加激烈。虚假信息迫使组织质疑他们是否知道自己在与谁打交道。在数字幕后进行的互动几乎无法验证用户,只能进行入职和认证。账户接管仍然是许多行业的主要攻击媒介;不良行为者经常代表受信任的用户采取破坏性行动。缺乏对行动的持续评估和认证会增加风险、降低透明度并限制保证能力。

虚假信息安全的核心技术要素包括:深度伪造检测、防范冒充和品牌保护。此类别的新兴技术包括验证实时通信的完整性、确保第三方多媒体的真实性、大型语言模型 (LLM) 驱动的监控系统(用于跟踪社交媒体和暗网频道上的叙述)、GenAI 幻觉减少和数字测谎仪。

虚假信息安全需要跨职能的努力,包括技术、人员和流程。有效打击虚假信息需要纳入关键业务职能,例如高管领导、安全、公共关系、营销、财务、人力资源、法律顾问和销售。为实现这一目标,Gartner 建议制定实践来预防、检测和应对破坏品牌信任或造成声誉损害的高风险情况。

简介:虚假信息安全

描述

虚假信息安全是一种新兴的技术类别,旨在系统地确定可信度。其目标是提供方法体系,以确保完整性、评估真实性、防止冒充和追踪虚假信息的传播。企业的用例包括检测在未经授权的情况下使用深度伪造,例如身份验证、实时通信或索赔验证。

此外,企业可以利用情报监控来监控通过大众媒体或社交媒体传播的叙述,例如针对高管领导团队、产品、服务或品牌的叙述,并防止冒充董事会成员、员工、承包商、供应商和客户等个人。

虚假信息安全通过使用新兴技术扩展了传统的企业防御能力:

  • 加强对员工和消费者应用程序中的身份验证和实时通信完整性的控制,以防止欺诈。深度伪造检测可以集成到身份、身份验证、索赔验证、消息传递应用程序和电话系统的工作流程中。

  • 通过对在线用户旅程中的会话和事件数据进行情境感知,持续进行风险评分,从而缓解帐户接管风险。通过帐户接管(ATO) 进行冒充可能导致社会工程和其他攻击;通过利用持续自适应信任模型进行风险评估,可以防止此类攻击超出身份验证的范畴。

  • 通过主动识别有害言论、其传播方式及其来源,进行战略性事件响应沟通,保护品牌声誉。声誉保护包括主动识别针对品牌、产品或高管的有害言论的能力。

为什么流行

虚假信息已经成为一场数字军备竞赛:网络钓鱼、黑客行动主义、虚假新闻和社会工程学都被意图散播恐惧、制造混乱和实施欺诈的对手所利用。鉴于 GenAI和机器学习工具的广泛可用性和先进状态被用于邪恶目的,影响企业的虚假信息事件数量预计会增加。如果不加以控制,虚假信息可能会对任何组织造成重大而持久的损害。

由于以下发展,虚假信息安全已成为焦点:

  • 世界经济论坛在 2024 年将虚假信息和造假列为未来两年全球最大的威胁。随着越来越多的组织成为虚假信息攻击的目标,对这一类别的炒作和担忧将继续增长。

  • 威胁行为者试图通过使用社交媒体影响力行动和虚假新闻网站,在关键时刻操纵舆论。2024 年,全球各地都将举行选举,而虚假信息安全是其中的中心主题。

  • 深度伪造攻击正在迅速增加,多达十分之一的高管已报告其企业成为攻击目标。生物特征认证被认为是安全、准确和可靠的,但却受到深度伪造的威胁,这表明没有任何单一技术层面是坚不可摧的。

  • 有害的叙述通过 GenAI 被放大,在网上迅速传播,在组织机构做好应对准备之前损害声誉并操纵受众。专为政府和国防用例开创的叙述智能解决方案现在正被企业采用。

  • 内容来源和真实性联盟 (C2PA) 等新兴标准旨在创建一个跨供应商生态系统,为多媒体内容提供自动数字水印和来源清单。随着更多技术合作伙伴的签约,这一势头持续增强。

在过去的一年里,Gartner 还发现客户对虚假信息安全主题的兴趣日益浓厚,与前一时期相比,过去六个月的搜索量和查询量显着增长。

启示

随着组织逐渐了解虚假信息安全在其防御策略中的作用,相关用例的数量预计将会增加。虚假信息攻击建立并扩展了现有策略,例如网络钓鱼、社会工程、账户接管和虚假叙述,然后用 Gen AI 增强这些策略。这导致了更高质量、更逼真的攻击,这些攻击更难被人类识别和传统技术阻止。

没有任何灵丹妙药可以完全阻止或保护任何系统或流程。相反,组织应该寻求采用全面的“纵深防御”策略,包括在整个业务流程和工作流程中引入虚假信息安全元素。此外,许多旨在提供虚假信息安全的技术,例如虚假音频、视频或图像检测,并没有既定的测试标准。

因此,供应商之间在有效性、失败率和误接受率方面缺乏透明度是买家近期的重要考虑因素。表 1 显示了应纳入虚假信息安全功能、优势和产品的示例含义和用例。

表1 :虚假信息安全解决方案的示例影响

用例

含义

实时通讯

劳动力协作工具、呼叫中心和移动电话仍然容易受到深度伪造的攻击。

第三方平台内容

在采取任何行动之前,必须评估来自组织外部的内容的真实性。

索赔验证

为支持申请或索赔而提交的证据内容可以通过软件工具人为生成或操纵。

身份验证

可以使用深度伪造以及演示攻击和注入攻击的组合来绕过生物特征身份验证。

缓解网络钓鱼

GenAI 可以制作令人信服的电子邮件以进行有针对性的攻击,准确模仿品牌的身份或关键人员的语气。

账户盗用预防

对手利用恶意软件窃取凭证,然后绕过不成熟的身份验证控制。

品牌模仿

攻击者冒充品牌来诱骗客户执行有害行为,从而影响商誉和声誉。

社会/大众媒体监测

影响行动利用有害的叙述来左右公众情绪,导致抵制和其他经济损失。

深网/暗网监控

不法分子在出售被盗敏感数据(如凭证和个人身份)时会讨论目标和策略。

情绪操纵

旨在建立客户信任的评论和反馈系统因自动化工具的虚假参与而受到破坏。

来源:Gartner(2024 年 10 月)

行动

  • 评估现有系统、工作流程和控制措施,以查找与虚假信息攻击相关的漏洞,然后纳入相关的缓解功能、流程和平台。安全团队应负责识别弱点并整合针对虚假信息威胁的主动防御措施。然而,制定适当的虚假信息应对计划需要的范围远不止安全。

  • 实施虚假信息安全技术和实践。此外,在身份验证和生物特征认证工具中寻找深度伪造检测功能。超越身份验证,纳入持续自适应信任模型,在整个使用过程中持续评估风险。利用数字风险保护服务主动识别对组织有害的信息。

  • 打击虚假信息需要的不仅仅是技术。Gartner 建议组建跨职能团队来应对虚假信息威胁。这包括与来自关键业务职能部门的代表(如高管领导、法律、公共关系、营销、销售、安全和产品管理)合作使用TrustOps策略。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值