人工智能(AI)是新一轮科技革命和产业变革的核心技术,被誉为下一个生产力前沿。具有巨大潜力的 AI 技术同时也带来两大主要挑战:一个是放大现有威胁,另一个是引入新型威胁。
奇安信预计,未来十年,人工智能技术的恶意使用将快速增长,在政治安全、网络安全、物理安全和军事安全等方面将构成严重威胁。
研究发现:
AI已成攻击工具,带来迫在眉睫的威胁,AI相关的网络攻击频次越来越高。数据显示,在2023年基于 Al 的深度伪造欺诈异增了 3000%,基于 Al 的钓鱼邮件数量增长了 1000%;奇安信威胁情报中心监测发现,已有多个有国家背景的 APT 组织利用 A 实施了十余起网络攻击事件。同时,各类基于 Al的新型攻击种类与手段不断出现,甚至出现泛滥,包括深度伪造(Deepfake)、黑产大语言模型、恶意 A 机器人、自动化攻击等,在全球造成了严重的危害。
AI 加剧军事威胁,Al 武器化趋势显现。Al 可以被用来创建或增强自主武器系统,这些系统能够在没有人类直接控制的情况下选择和攻击目标。这可能导致道德和法律问题,如责任归属问题及如何确保符合国际人道法。Al 系统可能会以难以预测的方式行动,特别是在复杂的战场环境中,这可能导致意外的平民伤亡或其他未预见的战略后果。强大的 AI 技术可能落入非国家行为者或恐怖组织手中,他们可能会使用这些技术进行难以应付的破坏活动或恐怖袭击。
AI 与大语言模型本身伴随着安全风险,业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织 OWASP 发布大模型应用的十大安全风险,包括提示注入、数据泄漏、沙箱不足和未经授权