最新创新研报 2024+人工智能安全报告(1)

奇安信预计，未来十年，人工智能技术的恶意使用将快速增长，在政治安全、网络安全、物理安全和军事安全等方面将构成严重威胁。

研究发现:

AI已成攻击工具,带来迫在眉睫的威胁,AI相关的网络攻击频次越来越高。数据显示,在2023年基于 Al 的深度伪造欺诈异增了 3000%，基于 Al 的钓鱼邮件数量增长了 1000%;奇安信威胁情报中心监测发现，已有多个有国家背景的 APT 组织利用 A 实施了十余起网络攻击事件。同时，各类基于 Al的新型攻击种类与手段不断出现，甚至出现泛滥，包括深度伪造(Deepfake)、黑产大语言模型、恶意 A 机器人、自动化攻击等，在全球造成了严重的危害。

AI 加剧军事威胁，Al 武器化趋势显现。Al 可以被用来创建或增强自主武器系统，这些系统能够在没有人类直接控制的情况下选择和攻击目标。这可能导致道德和法律问题，如责任归属问题及如何确保符合国际人道法。Al 系统可能会以难以预测的方式行动，特别是在复杂的战场环境中，这可能导致意外的平民伤亡或其他未预见的战略后果。强大的 AI 技术可能落入非国家行为者或恐怖组织手中，他们可能会使用这些技术进行难以应付的破坏活动或恐怖袭击。

AI 与大语言模型本身伴随着安全风险，业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织 OWASP 发布大模型应用的十大安全风险，包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。此外，因训练语料存在不良信息导致生成的内容不安全，正持续引发灾难性的后果，危害国家安全、公共安全甚至公民个人安全。但目前，业内对其潜在风险、潜在危害的研究与重视程度还远远不足。

AI 技术推动安全范式变革，全行业需启动人工智能网络防御推进计划。新一代 AI 技术与大语言模型改变安全对抗格局，将会对地缘政治竞争和国家安全造成深远的影响，各国正在竞相加强在人工智能领域的竞争，以获得面向未来的战略优势。全行业需启动人工智能网络防御推进计划，包括利用防御人工智能对抗恶意人工智能，扭转“防御者困境”

一个影响深远的新技术出现，人们一般倾向于在短期高估其作用，而又长期低估其影响。当前攻防双方都在紧张地探索 Al 杀手级的应用，也许在几天、几个月以后就会看到重大的变化。因此,无论监管机构、安全行业，还是政企机构，都需要积极拥抱并审慎评估 AI 技术与大模型带来的巨大潜力和确定性，监管与治理须及时跟进，不能先上车再补票。

由于文章篇幅有限，原文链接，请点击：

创新研报 | 2024+人工智能安全报告

查看 1000+热门创新案例 请进入创新社区

学习路线：

这个方向初期比较容易入门一些，掌握一些基本技术，拿起各种现成的工具就可以开黑了。不过，要想从脚本小子变成黑客大神，这个方向越往后，需要学习和掌握的东西就会越来越多以下是网络渗透需要学习的内容：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！