AI时代的安全挑战：如何用好AI这把“双刃剑”？

ITValue

AI在为企业业务提效带来便捷，推动降本增效的同时，也为网络攻击者带来了便捷，在原本错综复杂的网络环境，以及数据安全风险难题上，增加了新的挑战。

作者｜张申宇

编辑｜盖虹达

首发｜钛媒体APP

当前，随着生成式人工智能（GenAI）的兴起，企业也面临着前所未有的安全挑战。

据IBM Security发布的《2023年数据泄露成本报告》显示，仅数据泄露一项，2023年全球数据泄露的平均成本达到445万美元，创该报告有史以来以来最高记录，较过去三年均值增长了15%。

“GenAI火爆的当下，黑客攻击手段也越来越多样化，原先需要一个团队完成的攻击，现在仅需要一个人，利用不同类型的大模型就可以完成。”Fortinet北亚区首席技术顾问谭杰告诉钛媒体APP，“通过Agent的方式，给不同的AI分配不同任务，有的负责扫描漏洞、有的负责制作‘武器’，有的负责实施攻击。”

可见，AI在为企业业务提效带来便捷，推动降本增效的同时，也为网络攻击者带来了便捷，在原本错综复杂的网络环境，以及数据安全风险难题上，增加了新的挑战。而且，传统的安全控制已经不足以应对这些新兴风险，需要专门针对 AI建立管理策略以保障系统的稳健性、合规性。

享受AI技术红利的前提是守住安全的底线，这对身处其中的科技、安全厂商和各行各业应用AI能力的企业而言，是AI时代一道新的必答题。

01

AI时代，安全面临更多挑战

生成式AI在解放生产力，提高工作效率的同时，也带来了更多、更严峻的安全问题，包括内容偏见、数据泄露和 AI 应用漏洞等。

据统计，2023年以来，用AI技术开展的攻击，已经成为企业面临首要网络威胁，腾讯安全总经理周斌告诉钛媒体APP，AI大模型的火爆，也极大提升了攻击者的攻击效率。

首先，攻击目标和范围变大。AI大模型驱动的智能化时代,围绕数据产生的交互和分析行为会越来越普遍，这将进一步扩大企业风险面的暴露面，动态的数据流转和使用，需要更加完善的防护手段。

其次，攻击密度增加。攻击的成本和门槛下降之后，其攻击的频次、密度会大幅提升，以前的攻守节奏可能是回合制的，防守方还有一天或者一周的时间调整安全策略；但大模型加持下，黑客会让攻防变成“即时战略”的对抗，企业的反应时间窗口将被迫缩短至小时级，甚至分钟级。

第三，模拟“机器”和“人”的精度提升。黑灰产利用AI提升模拟真实用户行为的效率，企业难以辨别，例如在黄牛党抢票、金融信贷欺诈等。

第四，攻击特征超越企业“情报库”。企业安全建设往往依赖于安全情报库，以记录经常“干坏事”的恶意IP和异常流量特征。当黑客利用生成式AI实时变换大量的行为特征时，传统静态情报库将逐渐失去防护价值。

此外，据钛媒体APP与多家企业交流发现，目前已经出现有企业在应用大模型后，遭到黑客利用提示词进行恶意攻击，比如让大模型产生身份识别偏差，进一步利用假冒的身份对企业大模型输入内容套取用户信息或企业商业机密。

谈及AI时代企业安全面临的安全挑战的场景时，奇安信集团董事长齐向东对钛媒体APP表示，具体到数字安全方面，人工智能带首要面临的是，AI投毒安全隐患加重，攻击者可以通过在训练数据中加入精心构造的异常数据，破坏训练数据集的准确性。

其次，随着AI大模型大规模应用之后，整个社会都将面临更加严峻的数据篡改隐患，齐向东告诉钛媒体APP，AI的大规模内容生产能力可能产生真假难辨的信息，控制社交软件乃至媒体的舆论声音，激化意识形态矛盾。360数字安全集团安全专家也有着类似的观点，他曾对钛媒体APP表示，在AI时代，企业也面临着新的内容安全的挑战，“比如对大模型的控制、滥用、误用和恶意应用等问题。”该专家指出。

除此之外，数据泄露隐患也随着大模型的应用而加重。IEEE电子游戏与竞技标准委员会委员汪齐齐对钛媒体APP表示，企业在使用非自研的大模型过程中，由于交互中的信息以及企业独有的信息需要输入到当前环境，如果该环境的安全性不够理想，那么敏感的企业和个人信息以及商业机密可能会被泄露，导致隐私侵犯和商业泄密的发生。

02

企业如何用AI筑牢安全防线？

“之前IT行业的各类风险在AI时代会进一步扩大。以往奏效的安全措施在AI时代必然会有部分失效并被淘汰。”汪齐齐说。在AI时代，传统的安全防护措施已经不足以确保企业的数据安全，企业需要构建一套全新的安全防线。

虽然AI大模型的出现给企业数据安全带来了严峻的挑战，但是企业也可以利用AI为工具，筑起安全防线。“用AI打败AI”是现阶段安全行业的共识。

回到目前AI技术在安全行业的应用场景上，钛媒体APP通过对安全行业巨头，以及海内外研究机构的调查总结出，目前AI技术在安全行业主要的应用场景是安全检测、识别，以及分析等方面。

具体到技术场景中，企业可以根据业务需求借鉴不同思路的策略打造AI安全防护能力。

阿里云一位技术专家建议，应用大模型的企业需要在大模型之上再施加一层工程化的手段来加固安全。比如应对提示词攻击时，尽管用户A成功让大模型认定他为用户B，但在信息查询的指令反馈链路中可以对指令来源的登录账户进行核验，从而验证其真实有效身份，避免造成其他用户信息泄露。

企业也可以通过AI自动学习识别，预测一些潜在的风险，并将这些风险自动隔离起来，“通过AI的赋能，让企业级防火墙具备更强的应变能力。”IEEE标准协会新标准立项委员会副主席兼IEEE数字金融与经济标准委员会主席林道庄曾告诉钛媒体APP。

以往通过人工进行综合分析研判设备产生的海量告警，很容易遭遇人员、精力短缺问题。这导致安全专家只能研判少量关键告警，超90%的告警被迫放弃，其中隐藏的大量真实威胁被忽略，给攻击者趁虚而入的机会。而AI依托算力资源和持续训练后的研判能力，打破了人力资源和效率边界。据奇安信统计，利用AI能力之后，能减少90%的漏报，实现安全能力10倍级提升。

Fortinet北亚区首席信息安全官邝伟基曾与钛媒体APP分享过Fortinet研发的一项类似于人脸识别的安全识别技术，该技术场景下，通过ANN进行大量辨识，并将辨识后的数据分割开，用于大模型的训练，从而寻找到攻击的特征，根据某些攻击的特征进行攻击的识别，“即便是攻击换了一个‘样貌’，但它们内在的代码是不会变的，而我们的这项专利技术，可以根据特征的描述，精准的识别出攻击的意图。”邝伟基向钛媒体APP介绍。

在安全识别方面，围绕AI技术深入布局的不仅仅Fortinet一家，奇安信也在安全识别方面有着AI+的布局，齐向东告诉钛媒体APP，在某核电企业的安全运营过程中，应用了安全机器人，安排安全机器人与人工团队一起演习，共发现15起安全事件，一半以上由机器人抢先识别并确认。在高价值事件检出率上，机器人发现两起被专家遗漏的安全事件；在真实风险事件研判准确率上，机器人达到100%。

此外，在达到万人规模的企业中，只有12名安全运营人员，每天能够研判6000条的告警，但该企业的单日告警量超过10万，漏报率极高。据奇安信介绍，在使用奇安信QAX-GPT安全机器人后，该企业可以完成10万告警全量研判，漏报率仅0.05%，揪出人工漏掉的真实告警700多条，极大提升了集团的整体安全能力。

而360则是将告警检测、分析研判的能力植入到了自主研发的安全大模型之中，据360方面提供的数据显示，在安全大模型的赋能下，样本平均分析时间、报告平均生成时间、漏洞验证自动化率等指标提效300%；事件平均检测时间、事件自动化响应率等指标提效200%；人工平均响应时间等指标提效100%。

03

AI+安全，产业升级

对于安全厂商们而言，AI在告警识别方面的应用仅是AI安全防护布局中的一环，除此之外， AI与安全需要更深度地融合，在帮助企业筑造新的安全防护体系的过程中，AI将发挥“大脑”的作用。

“体系化防御的核心，是多种网络安全设备的有机结合。由于不同产品之间的数据传输共享、相互访问、远程操作非常频繁,漏报和误报问题在这一阶段呈现指数级增长。”齐向东告诉钛媒体APP，在构建安全体系的过程中，AI具备赋能综合分析和全局联动的能力，可以智能的根据不同场景，调用不同接口、获取不同数据，甚至可以根据实际变化，进行动态调整，瞬时激发各个设备的安全能力，达成体系化防护的能力，“AI赋能后，能将遗漏的威胁从10%降低到千分之一，达到安全能力百倍级提升。”

通过AI技术，为企业构建一个更为完善的安全体系，也是奇安信将AI技术运用到公司全线产品中的主要原因，据了解，现阶段，奇安信已经将AI能力深度融合到包括安全产品开发、威胁检测、漏洞挖掘、安全运营及自动化、攻防对抗等在内的十多个领域。

另一方面，360则选择自研安全大模型的方式，将AI的能力全面整合进全系安全产品之中，360数字安全集团安全专家告诉钛媒体APP，从场景层面分，360安全云主要分为公有云和私有化两大场景。在公有云场景中，360将大模型的能力以“数字专家”的身份与企业安全人员展开深度交互，为不同阶段的运营工作提供对应的虚拟数字员工支持，如安全咨询顾问、安全监测和分析专家、应急处置专家等，提升运营效果和效率的同时降低了客户的技术应用门槛 。

私有化场景中，360以本地安全大脑产品能力为基础，结合大模型赋能，实现了“看见、处置和知识”三大业务的重塑，在大模型赋能的本地安全大脑平台+探针产品体系下，日常安全运营工作在告警检测、态势监测、分析研判、自动化处置、威胁狩猎、剧本编排、分析报表及运营报告生成等环节均实现了智能化重塑。

天融信则是将大模型、小模型、机器学习等AI技术能力深度应用于未知威胁检测、流量异常检测、恶意URL检测等多个方向及天融信网络安全产品中，实现了AI对威胁检测、安全运营等应用场景的全面赋能。

除了安全领域的专业厂商，云厂商和一些科技巨头也将AI+安全视为接下来业务布局的重要部分，这决定了用户对其产品的信任程度。而与专注安全领域的厂商开发安全行业大模型的思路不同，他们选择将AI的能力植入到原本的产品中，进行赋能。

阿里云一位技术专家表示，在大模型本身而言，通义千问大模型构建了一个有效、可靠的数据管理及隐私防护框架，确保大模型安全评估体系的全面性，并且在公共云上还会用一些外围的内容安全产品。此外，通义千问模型每一次更新迭代的模型训练中都会引入一些安全、攻防语料，让大模型学会识别什么是不安全不合规的内容，然后拒绝回答。阿里云百炼大模型服务平台提供专属的VPC（专有网络）、用户数据全链路加密、数据不落盘等多重保护，满足金融企业对核心业务数据的安全防护需求。

腾讯安全也将其混元大模型的能力与安全产品深度融合，周斌告诉钛媒体APP，目前腾讯安全在安全运营、风险治理、研发安全等领域已展开了大模型安全实践。以安全运营为例，据了解，在2023年底，腾讯安全就在混元大模型基础上，通过安全知识语库的二次训练，打造了安全行业大模型，并基于该大模型推出了腾讯云AI安全助手，安全助手具备了告警解释、漏洞修复、日志处理、智能客服等功能。

国外厂商中，以亚马逊云科技为例，亚马逊云科技推出的敏感铭感数据保护解决方案是一个开源的数据安全及数据隐私云原生解决方案，在该方案中，亚马逊云科技就融合了机器学习和模式匹配进行识别，帮助用户识别和分类敏感数据。而IBM则是提出了AI for Security的方法论，利用基础模型和生成人工智能带来的生产力提升，辅助人类提升安全能力，主要体现在三个方面：第一，使用AI管理重复的安全任务，例如警报和日志分析总结，使团队能够腾出时间来解决战略问题；第二，更快地生成安全内容（如检测、工作流程、策略等）；第三，学习并主动创建响应动作，即随着时间的推移和经验的积累优化主动响应，查找相似事件、更新受影响的系统，并修补易受攻击的代码。

除此之外，IBM还在其IBM Security产品组合中推出了数据安全软件——IBM® Security Guardium，并将AI 和自动化的能力嵌入到 Guardium 产品组合中。

围绕AI+安全的技术场景，各大科技巨头有着各自的布局，虽路径不同，但守护企业数据资产安全的目标始终不变。

从探索应用AI大模型能力的企业自身出发，一方面应当完善风险管理，识别、评估和缓解与AI应用相关的风险，使用 AI应用安全产品来防御外部威胁; 另一方面也要加强安全管理，确保 AI系统不受未经授权的访问、篡改或滥用，并防止数据泄露或损坏；进行定期的安全审计和漏洞扫描、建立应急响应机制等。

总之，享受GenAI技术落地的红利，需要进行全面的 AI治理，建立强大的安全防护能力，实现可持续的创新和发展。（本文首发于钛媒体APP，作者｜张申宇，编辑丨盖虹达）

---

*温馨提示：喜欢ITValue公众号的小伙伴注意啦！根据公众号推送新规，请将ITValue设为“星标”，这样才能第一时间收到推送消息，已设置的小伙伴还需要重新设置“星标”哦

我知道你在看哦