近期,亚马逊云科技宣布Pixtral Large 25.02模型现已作为完全托管的Serverless产品,在Amazon Bedrock中正式可用。
使用大模型通常需要大量基础设施规划,还需具备专业知识,并持续开展优化工作,才能有效满足计算需求。许多客户在部署这些复杂模型时,发现自身需要管理复杂的环境,或者不得不在性能和成本之间做出权衡。
Pixtral Large模型由Mistral AI开发,是其首款多模态模型,融合了先进的视觉能力和强大的语言理解能力。该模型拥有128K的上下文窗口,使其成为处理复杂视觉推理任务的理想之选。在MathVista、DocVQA和VQAv2等关键基准测试中,该模型均表现出色,充分展示了其在文档分析、图表解读和自然图像理解方面的卓越效能。
Pixtral Large模型最强大的功能之一便是其多语言功能。该模型支持数十种语言,包括英语、法语、德语、西班牙语、意大利语、中文、日语、韩语、葡萄牙语、荷兰语和波兰语等,可供全球的团队和应用程序使用。此外,该模型还接受了80多种编程语言的训练,涵盖Python、Java、C、C++、JavaScript、Bash、Swift和Fortran等,具备强大的代码生成与解析能力。
开发者将会对该模型以Agent为核心的设计理念赞赏有加。这一设计内置了函数调用和JSON输出格式化功能,能够简化与现有系统的集成过程。同时,该模型严格遵循系统提示指令,在与检索增强生成(RAG)应用程序以及大规模上下文场景配合使用时,其可靠性能得到显著提升。
通过Amazon Bedrock提供的Pixtral Large模型,您现在无需配置或管理任何基础设施,即可访问这一先进模型。Serverless架构让您能够根据实际需求灵活调整使用规模,无需预先投入或进行容量规划,并且您只需按实际资源使用量付费,不会存在资源闲置情况。
跨区域推理
通过跨区域推理功能,Pixtral Large模型现已在多个亚马逊云科技区域的Amazon Bedrock上可用。
借助Amazon Bedrock跨区域推理功能,您可以跨多个地理区域访问单个基础模型(FM),同时确保全球应用程序的高可用性和低延迟。例如,当模型部署在欧洲和美国地区时,您可以通过带有不同前缀的特定地区API端点访问该模型:欧洲地区使用eu.model-id,美国地区使用us.model-id。
这种方法使Amazon Bedrock能够将推理请求路由到地理位置最近的端点,从而降低延迟,并通过将数据处理限制在期望的地理边界内,帮助满足监管合规要求。系统会自动处理这些区域部署之间的流量路由和负载均衡,提供无缝的可扩展性和冗余性,而无需跟踪模型实际部署的各个区域。
实际运行效果演示
作为开发者布道师,Sébastien Stormacq一直在不断探索如何利用最新功能解决实际问题。近日,Sébastien女儿寻求其协助准备物理考试,正好成为测试Amazon Bedrock Converse API中的新多模态功能的绝佳契机。
Amazon Bedrock Converse API:
https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html?trk=4b29643c-e00f-4ab6-ab9c-b1fb47aa1708&sc_channel=blog
Sébastien家里的餐桌上堆满了画满复杂图表、力矢量和方程式的模拟试卷,Sébastien女儿正苦苦思索如何解答这些题目。Sébastien意识到这正是多模态功能的完美应用场景,随即拍下其中一份有好几张图表和数学符号的高难度试卷的照片,再使用Amazon Bedrock Converse API创建能够分析图像的简易应用程序,然后上传物理考试资料,要求模型讲解解题思路。
接下来的一幕着实令Sébastien父女两人惊叹不已。该模型不仅解读了图表,识别出了法语内容和数学符号,还为每个问题提供了解题步骤讲解。当针对特定概念追问后续问题时,该模型在整个对话过程中都能保持上下文连贯,提供极为自然流畅的辅导体验。
# Effet Doppler avec une Source Sonore en Rotation
## Analyse du problèmeCe problème concerne l'effet Doppler produit par une source sonore en rotation. Une source émettant un son à 1500 Hz tourne sur une table tournante dans le sens antihoraire, et nous devons déterminer comment les fréquences sont perçues par un microphone fixe.## Concepts clésL'effet Doppler se produit lorsqu'il y a un mouvement relatif entre une source sonore et un observateur. La fréquence perçue dépend de si la source se rapproche ou s'éloigne de l'observateur.La formule de l'effet Doppler est:- Pour une source qui se rapproche: $f_{observée} = f_{source} \cdot \frac{v_{son}}{v_{son} - v_{source}}$- Pour une source qui s'éloigne: $f_{observée} = f_{source} \cdot \frac{v_{son}}{v_{son} + v_{source}}$## Solution étape par étape### Étape 1: Analyser le mouvement de la sourceLa source tourne sur un cercle et le microphone est fixe à 40 cm du centre de rotation. Aux différentes positions (a, b, c), la source a des vitesses radiales différentes par rapport au microphone:- Position a: La source se déplace perpendiculairement à la ligne source-microphone (vitesse radiale nulle)- Position b: La source s'éloigne du microphone (vitesse radiale positive)- Position c: La source se rapproche du microphone (vitesse radiale négative)### Étape 2: Déterminer l'effet sur les fréquences perçues- À la position a: Pas d'effet Doppler car la vitesse radiale est nulle, donc $f_a = f_{source} = 1500$ Hz- À la position b: La source s'éloigne, donc $f_b < f_{source}$, donc $f_b < 1500$ Hz- À la position c: La source se rapproche, donc $f_c > f_{source}$, donc $f_c > 1500$ Hz### Étape 3: Comparer les fréquencesD'après notre analyse:- $f_a = 1500$ Hz- $f_b < 1500$ Hz- $f_c > 1500$ HzDonc: $f_c > f_a > f_b$## ConclusionLa proposition correcte est: $f_c > f_a > f_b$
Cette réponse correspond à la troisième proposition dans l'énoncé. Lorsque la source tourne, la fréquence perçue est plus élevée quand la source se rapproche (position c), égale à la fréquence émise quand la source se déplace perpendiculairement (position a), et plus basse quand la source s'éloigne (position b).
左右滑动查看完整示意
该模型依据问题的表述来给出回答。经过缜密分析后,它给出了正确答案:fc>fa>fb。
这种交互的妙处在于Amazon Bedrock Converse API能够无缝处理多模态输入,开发者无需操心同时处理图像和文本的复杂性。这种复杂性将由API处理,并会返回结构化的响应,以便简单应用程序可以将响应结果直接呈现给用户。
本演示使用Swif编程语言编写的代码如下,向您证明Python并非唯一的编程语言选择。
Be precise and accurate in your calculations5. Use mathematical notation when appropriate
Format your response with clear section headings and numbered steps."""let system: BedrockRuntimeClientTypes.SystemContentBlock = .text(systemPrompt)
// Create the user message with text prompt and imagelet userPrompt = "Please solve this math or physics problem. Show all steps and explain the concepts involved."let prompt: BedrockRuntimeClientTypes.ContentBlock = .text(userPrompt)let image: BedrockRuntimeClientTypes.ContentBlock = .image(.init(format: .jpeg, source: .bytes(finalImageData)))
// Create the user message with both text and image contentlet userMessage = BedrockRuntimeClientTypes.Message( content: [prompt, image], role: .user)
// Initialize the messages array with the user messagevar messages: [BedrockRuntimeClientTypes.Message] = []messages.append(userMessage)
// Configure the inference parameterslet inferenceConfig: BedrockRuntimeClientTypes.InferenceConfiguration = .init(maxTokens: 4096, temperature: 0.0)
// Create the input for the Converse API with streaminglet input = ConverseStreamInput(inferenceConfig: inferenceConfig, messages: messages, modelId: modelId, system: [system])
// Make the streaming requestdo { // Process the stream let response = try await bedrockClient.converseStream(input: input)
// Iterate through the stream events for try await event in stream { switch event { case .messagestart: print("AI-assistant started to stream")
case let .contentblockdelta(deltaEvent): // Handle text content as it arrives if case let .text(text) = deltaEvent.delta { DispatchQueue.main.async { self.streamedResponse += text } }
case .messagestop: print("Stream ended") // Create a complete assistant message from the streamed response let assistantMessage = BedrockRuntimeClientTypes.Message( content: [.text(self.streamedResponse)], role: .assistant ) messages.append(assistantMessage)
default: break } }
左右滑动查看完整示意
该应用程序的呈现效果如下,可谓惊艳。
经过这一应用程序的辅导之后,Sébastien女儿参加考试时已是胸有成竹。与此同时,Sébastien也收获了一个极具说服力的真实案例,充分展示了Amazon Bedrock的多模态功能如何为用户打造富有意义的体验。
开始使用
Pixtral Large 25.02模型可通过以下区域API端点获取使用:美国东部(俄亥俄州、北弗吉尼亚州)、美国西部(俄勒冈州)以及欧洲(法兰克福、爱尔兰、巴黎、斯德哥尔摩),这些区域端点的可用性有助于您满足数据驻留要求,同时最大限度降低延迟。
您可通过亚马逊云科技管理控制台开始使用该模型,或者使用以下模型ID通过Amazon CLI和Amazon SDK以编程方式开始使用该模型。
模型ID:mistral.pixtral-large-2502-v1:0
亚马逊云科技管理控制台:
https://console.aws.amazon.com/
Amazon CLI:
https://aws.amazon.com/cli/
Amazon SDK:
https://aws.amazon.com/developer/tools/?trk=4b29643c-e00f-4ab6-ab9c-b1fb47aa1708&sc_channel=blog
此次发布意义重大,意味着在推动先进多模态AI普及方面迈出了关键一步,让各规模层次的开发者与组织都能从中受益。通过将Mistral AI的前沿模型与亚马逊云科技Serverless架构相集成,您可以全身心专注于构建创新应用程序,而无需再担心底层技术架构的复杂性。
立即访问Amazon Bedrock控制台,开启体验Pixtral Large 25.02之旅,探索其如何优化您的AI驱动型应用程序。
Amazon Bedrock控制台:
https://us-east-1.console.aws.amazon.com/bedrock/home?region=us-east-1#/overview?trk=4b29643c-e00f-4ab6-ab9c-b1fb47aa1708&sc_channel=blog
本篇作者
Sébastien Stormacq
自20世纪80年代中期首次接触Commodore 64以来,Seb专注于软件架构、开发工具以及移动计算领域。他凭借自己的技术热情、干劲、客户至上、好奇心和创造力,激发构建者挖掘亚马逊云科技云服务的价值。
星标不迷路,开发更极速!
关注后记得星标「亚马逊云开发者」
听说,点完下面4个按钮
就不会碰到bug了!
点击阅读原文查看博客!获得更详细内容!