生成式 AI：网络弹性和风险

关键字: [Amazon Web Services re:Invent 2023, Companion, Generative Ai, Cybersecurity, Threat Actors, Phishing, Deepfakes]

本文字数: 1900, 阅读完需: 10 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV16u4y1g7kY

导读

许多企业正在考虑使用生成式 AI，提高效率和加速运营，但一些组织缺乏对其员工互动的工具和潜在欺诈性 AI 生成资产的可见性。威胁行为者也在积极地将生成式 AI 用于恶意目的。网络安全团队如何在使用生成式 AI 加速检测、响应等的同时获得正确的可见性和见解？在本论坛中，探索与生成式 AI相关的机会和风险，以及正确的工具如何在不牺牲这一新兴技术优势的情况下提供您所需的可见性和保护。本演示文稿由亚马逊云科技合作伙伴 Trend Micro 为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华，共1600字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

肖恩·墨菲（Shannon Murphy）是趋势科技公司的网络安全专家。在re:Invent的拥挤会场，她进行了一场题为“生成性人工智能：网络恢复力与风险”的演讲。当她抬头看着面前已经开始倒计时的倒计时时钟时，意识到是时候开始了。

为了了解听众构成，墨菲请与会者举手表示他们在组织中的哪个业务部门工作。在数百名观众中，只有少数人举起了手。接着，她询问谁是来自安全部门的，一片举起的手表明大部分是安全人员。当被问及谁是软件开发者时，一些人举起了手，构成了剩下的少数群体。墨菲注意到，这是一个由业务、安全和开发专业人员组成的混合观众，她可能需要根据情况调整演讲内容。

为了活跃气氛，墨菲询问大家在繁忙的会议期间过得如何。疲惫的声音从人群中传来，包括她自己听起来也有些疲劳。墨菲转换了话题，介绍了自己，并询问是否有其他姓墨菲的人在几百个座位中有一个人。当没有人回应时，她说如今几乎在任何100人以上的房间里，通常都有几个姓墨菲的人。

墨菲顺利地过渡到了她的演讲主题。她提到了墨菲定律，即“任何可能出错的事情都会出错”。她分享了一个个人轶事，作为墨菲家族的一员，她实际上讨厌这个观念。她还记得小时候，她父亲会立刻扔掉任何送给他带有墨菲定律的茶杯或T恤，以免让他的孩子接触到与他们的家族名字有关的负面情感。然而，墨菲最近发现了一种对墨菲定律的替代解读，将其重新定义为一个更有力的视角。

她发现了一种新视角，认为'你越担心事情出错，它就越可能发生'。Murphy很欣赏这种观点，因为它将控制权重新交到了自己的手中。如果恐惧能够得到积极主动的管理，那么不良事件的可能性及其影响也能够得到管控。这一启示与关于人工智能的更广泛讨论紧密相连，因为一些个人和组织在采用新兴技术（如生成性人工智能）时持有犹豫态度。通过运用知识、安全措施和预防措施来直面这些恐惧，它们就能够被克服。

为了确定AI恐惧的基准，Murphy强调了这些问题是否源于煽起恐慌、夸大事实和虚构故事，或者是基于现实和事实。一旦了解了恐惧的真正根源，就可以采取适当的措施进行应对。人们不必像科幻电影中所描绘的那样无助地等待“杀人机器人”的出现，而是现在就可以采取行动，将现实生活中的生成性人工智能技术引导向积极结果，同时防止滥用。

Murphy注意到，尽管各行业对利用AI充满兴奋，但对其风险也持谨慎态度。她的演讲目标是直接解决这种犹豫，研究犯罪分子和对手如何试图利用生成性AI的能力，讨论防御策略所需的系统调整，并强调安全团队如何可以负责任地将AI用于自己的优势。

从更广泛的网络欺诈环境来看，Murphy引用了FBI年度网络犯罪报告中的统计数据。这份全面的报告揭示了网络犯罪成本的大部分来自各种形式的欺诈、欺骗和社会工程，而不是媒体头条中经常大肆报道的令人瞩目的勒索软件攻击。

她特别指出，根据2021年FBI的互联网犯罪报告，社会工程和欺诈导致了超过69亿美元的损失，占报告的网络犯罪损失的50%以上，而仅勒索软件攻击就造成了4.92亿美元的损失，占损失总额的3%。这些大量的数据表明，相对于通过恶意软件和勒索软件破坏整个系统，犯罪分子通过社会工程和欺诈需要更少的技术努力，但可以获得更高的回报。

穆雷对此进行了分析。随着2022年GPT-3等生成性AI模型逐渐成为主流，未来几年网络犯罪报告和威胁态势将会受到怎样的影响？接着，她深入研究了一些威胁行为者和对手是如何利用生成性AI能力进行社会工程和欺诈活动的，并对AI应用攻击和自动化的虫生未来等方面进行了预测。

首先，在社会工程方面，她再次强调了钓鱼攻击和企业电子邮件妥协一直以来都是受欢迎的攻击途径，因为它们简单易行且对罪犯有效。过去，攻击者通常采用大范围分发方法，向数十万到数百万潜在受害者发送通用的钓鱼模板；或者采用针对每个活动的少数高层人士的定制鱼叉式钓鱼方法。然而，如今有了像GPT-3这样的用户友好的生成性AI模型，可以以任何语言在几秒钟内大规模生成令人信服的个性化钓鱼电子邮件。为了说明这一点，穆雷提供了一个示例任务：编写一封关于批准购买名为“桥接连接”的新CRM工具的简短100字或更少的电子邮件，用轻松的语气来自“Liz”给“Todd”。人工智能立即生成了一封具有自然语气和声音的个性化商业电子邮件，不太可能在快速扫描时引起警报。穆雷强调，这种AI生成的社会工程内容的指数级改进将极大地扩大犯罪分子能够策划的钓鱼活动数量，也将全球可能的目标群体从数千扩大到数百万。

在转向新兴音频和视频风险时，穆雷指出，由于生成对抗网络方面的进展，深度伪造的质量和可信度也得到了极大的提高。这种人工智能技术将生成器算法与鉴别器算法相对抗，以优化合成媒体输出。因此，现在AI生成的深度伪造可以达到近乎完美的真实性，足以欺骗大多数观众。

尽管人们对选举中错误信息和诽谤问题表示关注，但墨菲指出了一种更为常见且代价高昂的企业威胁途径。她以一个虚构的例子为例，骗子利用名人的深度伪造音频或视频，在请求将100万美元或更多的资金转移到犯罪团伙控制的银行账户时绕过身份验证。为了应对这一现实风险，墨菲建议采用一些明智的安全措施，如引入安全的已验证联系人列表，对超过设定金额阈值的转移实施多方审批，以及在通信中设置预先安排的口头验证口令。

墨菲还关注了媒体上关于生成性AI可能自动创建新型恶意软件和黑客工具的报道。然而，截至目前，除了炒作和概念验证实验之外，这类案例的证据并不多。她提到了一个名为“蠕虫GPT”的模型，该模型在2022年初引起媒体关注，声称可以生成新的恶意软件代码，但后来被迅速抛弃。原因可能是开发者担心这种不道德的工具被用于犯罪行为后，他们可能会受到报复和起诉。其他所谓的恶意AI模型似乎也是利用炒作来从网络罪犯那里赚取订阅费的骗局。

尽管如此，墨菲承认生成性AI确实加快了现有软件漏洞的发现速度，这带来了实际的风险。例如，GPT-3可能被误用，基于已知漏洞的模式和上下文，快速分析开源补丁提交中的代码差异，以识别未公开的安全缺陷。墨菲强调的另一风险是潜在的“越狱”或绕过商业AI应用程序的限制。她建议开发人员在构建会话AI应用和聊天机器人时，将安全性、伦理和对滥用预防措施作为首要任务。通过提前采取措施，如提示筛选、输入净化以及对异常用户查询发出警报，可以帮助确保负责的人工智能系统在客户服务、医疗保健和其他敏感领域的安全运行。

从防御者的角度来看，墨菲持乐观态度，认为通过负责任地运用生成性人工智能，前瞻性的安全团队能够在攻击者面前占据真正优势。她列举了一些已经出现且具有巨大潜力的网络安全应用实例。例如，利用AI助手增强和加速安全分析师的工作效率，将入侵攻击模拟转化为类似红队的动态测试，自动化重复的工作流程，以及生成针对特定环境的详细修复建议。

概括来说，墨菲重申，尽管生成性人工智能确实存在风险与利益之间的平衡，但若策略性地运用，防御者目前处于优势地位。通过用AI发展他们的安全策略，并通过非常真实的模拟来培训员工，组织可以积极应对恐惧并尽量减少风险。

墨菲强调，生成性人工智能已在展示其巨大潜力，有助于安全团队全面提升对威胁的检测、响应和缓解能力。例如，自动解释异常行为，解码可疑脚本，使用自然语言查询搜索威胁，以及自动化报告等。

总的来说，Shannon Murphy的演讲全面阐述了如何像GPT-3这样的生成性AI模型在助长了新型网络犯罪的同时，也为前瞻性的安全领导者提供了巨大的机会来提升他们的技能、能力和防御力。通过解决知识问题、调整过程和使用AI负责任地行事，组织可以在新兴技术迅速发展的同时建立起网络韧性。

下面是一些演讲现场的精彩瞬间：

领导被问及有多少来自公司商业部门的与会者。

领导讨论了人工智能在社会工程、欺诈和攻击应用等关键领域的运用。

领导谈到了通过网络安全搜索消除偏见的方法，以及如何将简单的语言转化为强大的精确狩猎手段。

亚马逊云科技正致力于自动化事故报告，以减轻管理负担并让安全团队能专注于更重要的工作。

亚马逊云科技正在使用自动化的红队工具进行道德的黑客行动，以测试系统的安全性并制定具体的新安全措施。

领导强调了利用多种远程测量数据源以提高辅助安全功能的重要性。

生成性人工智能是增强安全团队战斗力的重要工具，可以自动化重复任务并实现更快速的理解和响应。

总结

肖恩·墨菲（Shannon Murphy）在re:Invent上发表了一场关于生成性人工智能如何影响网络安全和风险管理的演讲。她首先指出，如今社交工程学和欺诈已成为最有效的网络犯罪形式，因为攻击个人比攻击整个系统更容易。随着生成性AI的发展，钓鱼攻击现已能够个性化并翻译成多种语言，从而大大扩大了潜在的目标范围。深度伪造技术甚至使得攻击者能够模仿高管并进行欺诈交易。

为了应对这些挑战，墨菲建议更新验证过程，实施零信任框架，以及建立安全意识文化。防御者还需提高对技术的预期，例如使用AI来检测异常语气并与电子邮件提供商集成。

尽管关于AI直接生成恶意软件的报道尚缺乏确凿证据，但墨菲认为，如果防御者接纳这项技术，他们将具备优势。AI能解释复杂警报，解码脚本，自动进行威胁狩猎，并消除管理任务。此外，AI驱动的模拟还能用于模拟复杂的攻击以进行培训。

总之，如果由多样化的全球数据驱动，生成性AI可以作为一种力量倍增器，减轻分析师的疲劳并实现更快的响应。然而，这是一把双刃剑，因此防御者必须调整策略以应对不断变化的威胁。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134829328

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。