大模型、生成式AI信息真是层出不穷,一觉醒来频繁被朋友圈刷屏,还是得挤时间赶紧掌握动态、跟上节奏。这不,最新发布的Claude 3在各项测评中有非常亮眼的表现,并且是能挤掉GPT榜首位置的“新秀”。
隔靴挠痒不如鞭辟入里,只有真的用起来才能评价是否真的好,只有真的用起来对自己才是实实在在的价值。可是Claude 3目前仅面向部分用户开放访问,无魔法也要成功,Amazon Bedrock集成了包括Claude 3、Amazon Titan等在内的多个大模型,Amazon Web Service Global账号账单地址不在国内的用户可尝试访问调用。海外账号下的Amazon Bedrock上已经支持了Claude 3 Sonnet和Haiku,另外的Opus也即将上线。
在Bedrock中使用Claude 3
Amazon Bedrock 是一项完全托管的服务,通过单个 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 等领先人工智能公司的高性能基础模型(FM, Foundation Model),以及通过安全性、隐私性和负责任的 AI 构建生成式人工智能应用程序所需的一系列广泛功能。Amazon Bedrock目前提供的模型和支持的应用能力如下。
Amazon Bedrock相当于对底层各个大模型进行了封装,不用再逐个适配对接不同提供商的大模型,在这里你只需要基于你的应用设计来选择不同能力特色的模型来服务,而只需要替换大模型ID即可完成大模型的切换。
对于开发者来说,Bedrock中提供CLI、API来调用大模型服务,在应用层构建服务则可以和后端模型进行解耦;而对于非开发者来说控制台界面使用也没啥卡点(除了Playgrounds翻译成了“操场”、Agents翻译成了“坐席”)。
我们可以在模型提供商这里选择Anthropic,并选择Claude 3 Sonnet。
基础使用
对话
搓搓激动的小手,赶紧体验下吧。在Chat聊天这里输入“introduct cloudcomputing”可以非常迅速的获得响应。来测试下多模态,我们上传一张图片,能够解释这张图片中包含的内容,信息准确度挺高的。
模型指标
通过可量化的指标观察大模型的效果。
文本生成
还是继续使用Calude 3 Sonnet试下文本生成,可以根据Prompt生成对应文本。
图像生成
为了体验Amazon Bedrock Image图像能力,我们切换到Stability AI SDXL 0.8模型,根据示例提示输入“Sri lanka tea plantation.”,可以获得如下的响应,这画质咋样<<__>>
再换个例子,比如“a boy is writing homework”、“a chinese boy is writing homework”。
基于已有的结果我们可以选择一张继续“生成变体”,也就是基于前面的三张图片你挑选一张最满意的,Amazon Bedrock继续调用底层模型对这张图片继续优化。
模型提供商管理
前面提到了Amazon Bedrock支持多个提供商的多个模型,用户可以自行管理这些模型并查看对应的Prompt示例。
不同提供商的模型使用不同的使用协议,比如Anthropic Claude、Cohere Embed Multilingual等模型则需要用户提供申请信息。当然,Amazon Titan系列模型是直接开通可使用的。
进阶
多个模型对比
单个大模型效果具体如何平时只有感官感受,Amazon Bedrock提供了一个有意思的功能,将2-3个大模型并行对比,响应速度、输入/输出Token、成本等信息一目了然。对于模型指标还支持自定义指标标准,比如延迟超过2000ms就标记为红色等等。
水印检测
通过大模型生成的图片,大模型是否还记得?可以通过Amazon Bedrock水印检测来判断,上传一张图片,随即可获得是否是大模型生成的图片的结果。
Agent
在Agents坐席中可以创建自己的智能体(也就是Agents),不过和其他一些平台不同的是,Amazon Bedrock使用了IAM权限、对接S3、提供ARN等信息,和使用其他服务没有差别。
总结:云和Gen-AI天然融合
Amazon Web Service提供云服务,也提供Gen-AI和大模型的多项服务,是互相融合在一起还是独立互不相干?我们问个问题。
-
知识库应该单独维护,还是应该用现有的对象存储?
-
Lambda提供计算能力,我们自己采用编程/代码插件应该各个系统单独开发还是应该采用云端的计算能力?我们在推动其他用户和开发者上云,但自己却不使用却忘了上云。
和Lambda集成
通过CLI来调用大模型
举个例子
举个例子,用户通过自然语言和前端应用进行交互,并交由计算和业务逻辑来进行任务编排、查询数据,通过Amazon Bedrock调用底层大模型能力来响应用户的需求。
总结
在这里,Amazon Bedrock并非孤立的产品,Amazon Web Service提供的不仅是Gen-AI服务,还有Cloud Computing,任何服务和产品设计都尽可能使用现有平台能力,比如Amazon Bedrock RAG知识库使用S3,支持CLI和Lambda发起请求。这样设计一方面减少用户跨产品切换进行数据转移的工作量,S3本身就是存储知识库等数据的最佳选择之一,当然要支持用户去使用最佳实践;另一方面,参照Amazon Well-Architected Framework思路,使用云平台基础能力也为数据安全性、良好/最佳的架构框架迈进一步。
学习资源
-
课程链接:https://study.163.com/course/introduction/1213665810.htm?from=AWS-social-FY24-KOC-LZB
-
Amazon Bedrock官网:https://aws.amazon.com/cn/bedrock/?nc2=h_ql_prod_ml_br