亚马逊云科技保障生成式AI应用安全

关键字: [大语言模型应用, 边缘安全产品, 机器人流量, 安全威胁, 成本优化]

本文字数: 1300, 阅读完需: 6 分钟

导读

王俊兴先生在演讲中讨论了如何利用亚马逊云科技的安全产品来保护大语言模型应用。他解释了当前互联网流量中有47%来自机器人,这些机器人可能会被滥用进行攻击,从而导致大语言模型应用的成本上升。他介绍了如何使用Amazon Web Services WAF Bot Control等服务来阻挡不需要的机器人流量,从而优化成本。他还分享了在边缘部署WAF的架构,以更好地抵御DDoS攻击,并建议从亚马逊提供的规则开始使用WAF,获取机器人活动的可视性,与专家审查数据并获取下一步安全建议。

演讲精华

以下是小编为您整理的本次演讲的精华，共1000字，阅读时间大约是5分钟。

在当今时代,互联网机器人的使用越来越普及,根据视频中引用的今日安全报告,目前高达47%的互联网流量都来自于机器人。虽然机器人最初的目的是为了提高工作效率,使工作更加顺畅,帮助执行自动化和重复性任务,但与此同时,这种便捷性也被攻击者所滥用。正如视频所演示,现在攻击者可以非常简单便捷地利用AI生成攻击代码和程序。

安全组织OWASP经常披露安全风险,以提高整体安全意识,保护业务场景免受漏洞影响。随着大语言模型技术的推广,OWASP推出了针对大语言模型的十大威胁情报,其中之一就是拒绝服务攻击被列为重大威胁之一。如果大量攻击者使用自动化程序访问您的大语言模型应用,必将导致成本大幅上升。

以亚马逊的一款大语言模型服务Amazon Bedrock为例,该服务按输入token和输出token分别收费,输入token每4个英文字符0.003美元,输出token每4个英文字符0.015美元。如果用户提出的问题描述占用1400个token,模型输出150个token,那么根据这些定价,每个用户的问题平均会产生0.006美元的成本。而使用亚马逊WAF的机器人防护功能,每个请求仅需0.004美元。根据计算,如果能够阻挡43%的机器人请求,就可以节省277倍的生成式AI成本。

大语言模型需要对海量数据进行训练,但并不是对所有数据进行训练,需要进行特征工程和数据筛选。视频以购买自行车为例,如果直接将”我的预算3000美元,目标是碳纤维自行车”这个问题丢给模型,可能得不到最准确的答案。因此需要进行提示工程,比如补充”我需要一款价格合理的公路自行车,但价格不是唯一考虑因素,作为中级车手需要一定的升级”、“我需要中档碳纤维公路自行车”等背景信息,以优化问题描述。仅问题描述就可能占用1200个英文字符。

亚马逊的Amazon Bedrock服务中集成了RAG(检索增强生成器)功能,可以很好地帮助进行提示工程,在考虑提示工程时进行数据筛选和优化,使大模型能够更好地理解和回答问题。RAG功能对客户来说是易于使用的。

在传统的大模型服务架构中,所有请求都会直接到达负载均衡器,再由负载均衡器转发到EC2实例,最终到达Amazon Bedrock服务。这种架构很容易遭受拒绝服务攻击,一旦遭到洪水攻击,可能导致正常用户无法访问。就像精心设计的聊天机器人,由于DDoS攻击而无法为正常用户提供服务,这将是一个非常糟糕的结果。同时,如果大量机器人流量冲击服务器,也会使大模型的使用成本飙升,可能不得不关闭整个项目。

为了防范这种情况,建议在边缘位置部署Amazon WAF,形成防御体系,在边缘节点就过滤掉恶意流量,而不是让它们直接到达负载均衡器。实际上,亚马逊的边缘节点足够分散,调度策略灵活,在一个案例中成功抵御了高达155亿次/秒的攻击,这样的攻击流量如果直接到达负载均衡器,负载均衡器可能无法承受。

启用WAF并不需要太多安全知识,亚马逊提供了多个托管规则组,客户可以直接启用。其中IP信誉列表规则组由亚马逊安全团队维护,包含了之前参与恶意活动的IP地址,可以在第一道防线就拦截这些IP;核心规则组则针对Web应用的潜在漏洞进行防护,值得一提的是已知错误输入规则组也值得启用。

同时,WAF支持监控模式,客户可以先在监控模式下运行,获取流量情况的安全见解,分析是否有误杀情况,确认无误杀后再切换为阻挡模式,避免影响正常流量。在亚马逊云科技控制台中创建边缘服务时,也可以一键启用WAF和监控模式,非常便捷。

启用WAF后,客户可以在控制台看到当前机器人活动的可视化数据,了解是否存在机器人调用大模型接口的情况,这些机器人活动可能是好的,也可能是恶意的。控制台还提供了其他丰富的安全信息,如攻击隐患等。

因此,视频最后向客户提出了一个倡议:启用Amazon WAF,屏蔽已知的恶意行为,并获取机器人活动的可视性数据。建议客户在启用WAF后等待一周左右的时间,收集数据,然后与亚马逊的边缘安全专家一起审查数据,获得下一步的安全建议,进一步优化防护措施。

总之,亚马逊的边缘安全产品Amazon WAF能够有效保护大语言模型应用Amazon Bedrock,防止成本因机器人滥用而失控,提高应用的安全性和可靠性。客户可以联系亚马逊的客户经理和安全团队,获取更多关于如何启用Amazon WAF边缘安全、防御Amazon Bedrock大模型应用的支持和建议。

下面是一些演讲现场的精彩瞬间：

王俊新介绍了如何利用亚马逊的安全产品保护大语言模型应用。

在讲解Prompt Engineering时，演讲者提到了RAG(Retrieval Augmented Generation)这一技术,它可以帮助我们更好地进行Prompt Engineering,通过数据筛选和执行等功能。

亚马逊云科技的Amazon Bedrock也提供了RAG的相关能力。

亚马逊 WAF Bot Control 可以高效阻挡恶意机器人请求,每阻挡 1 美元的成本可节省 277 美元的生成式 AI 成本。

深圳市AI使用成本具有一定量级,需要采取经济实惠且低成本的方式防止滥用

为了防止 DDoS 攻击和滥用情况,我们可以在负载均衡层使用 Amazon WAF 进行简单的关联过滤。

启用 WAF 后,您可以监控大模型接口的机器人活动情况,获取 Bot 的可视性,并与专家审查数据以获取安全建议。

总结

亚马逊云科技的边缘安全产品能够有效保护大语言模型应用免受恶意机器人流量的攻击和滥用。随着大语言模型技术的快速发展,保护其免受攻击和滥用变得至关重要。亚马逊云科技提供了一系列安全服务,如Amazon WAF Bot Control和Amazon CloudFront,可以在边缘层面阻挡恶意机器人流量,防止DDoS攻击,从而优化大语言模型应用的成本。通过简单的配置,用户可以轻松启用这些安全服务,获取机器人活动的可视性,并与亚马逊云科技的专家团队合作,进一步优化安全策略。采用亚马逊云科技的边缘安全产品,可以确保大语言模型应用的安全性和可用性,为用户提供可靠的服务。

亚马逊云科技的边缘安全产品能够有效保护大语言模型应用免受恶意机器人流量的攻击和滥用。首先,大量的互联网流量实际上来自于机器人,这些机器人可能被攻击者利用,对大语言模型应用造成威胁。其次,大语言模型应用的使用成本较高,如果遭受大量机器人流量的攻击和滥用,将导致成本上升。最后,通过部署亚马逊云科技的边缘安全服务,如Amazon WAF Bot Control和Amazon CloudFront,可以在边缘层面阻挡恶意机器人流量,从而优化大语言模型应用的成本,提高安全性和可用性。

因此,亚马逊云科技建议用户启用边缘安全服务,如Amazon WAF Bot Control和Amazon CloudFront,以保护大语言模型应用免受恶意机器人流量的攻击和滥用。这不仅可以优化成本,还能提高应用的安全性和可用性,为用户提供可靠的服务。