Mistral 发布 Pixtral 12B：首款图像与文本融合的多模态 AI 大语音模型-CSDN博客

本文链接：https://blog.csdn.net/m0_59164304/article/details/142768017

在人工智能领域，多模态模型正逐渐成为研究和应用的热点。这些模型不仅能处理文本数据，还能理解和生成图像，为各种应用场景提供了新的可能性。前段时间，Mistral AI 实验室宣布了他们的最新研究成果——Pixtral 12B，这是一个具有里程碑意义的多模态模型，旨在成为Mistral Nemo 12B的直接替代品。本文将深入探讨Pixtral 12B的关键特性、性能表现以及其背后的技术架构。

一、Pixtral 12B 概览

Pixtral 12B，一个真正意义上的多模态AI模型，通过融合图像与文本的训练，展现了处理复杂任务的非凡实力。它在多模态领域的卓越表现，以及在遵循指令方面的灵敏反应，都令人印象深刻。更值得一提的是，Pixtral 12B在文本处理上的精湛技艺，它在保持多模态优势的同时，并未牺牲文本处理的精准度。

关键特性

多模态处理能力：Pixtral 12B能够理解自然图像和文档，其在MMMU推理基准测试中达到了52.5%的准确率，超越了许多更大的模型。
灵活的图像处理：用户可以以图像的自然分辨率和宽高比输入图像，模型能够灵活处理任意数量的图像。
长上下文窗口：Pixtral 12B拥有128K tokens的长上下文窗口，可以处理多张图像。
开源许可：Pixtral 12B采用Apache 2.0许可，用户可以在La Plateforme或Le Chat上尝试使用。

二、性能表现

Pixtral 12B在多模态推理方面的表现尤为突出，它在不牺牲关键文本能力（如遵循指令、编码和数学计算）的前提下，提供了最佳的多模态推理能力。在与封闭和更大的多模态模型的比较中，Pixtral 12B在许多情况下都超越了它们。

三、架构亮点

Pixtral 12B的架构是其卓越性能的基石，它包括一个全新的400M参数视觉编码器和基于Mistral Nemo的12B参数多模态解码器。这一设计使得模型能够以原生分辨率处理图像，同时保持快速的推理速度。

1、可变图像尺寸

Pixtral 12B的设计哲学是优化速度与性能的完美结合。它训练了一个新的视觉编码器，原生支持可变图像大小，能够将图像直接转换为模型可以理解的tokens，而无需任何预处理。

2、最终架构

Pixtral 12B由两个核心组件构成：视觉编码器和多模态Transformer解码器。这种架构使得模型能够处理任意数量和大小的图像，同时在128K tokens的大型上下文窗口中保持高效的文本处理能力。

四、定性示例

Pixtral 12B在处理复杂图形、图表理解、多图像指令遵循和图像到代码转换方面都表现出了卓越的能力。例如，它能够根据图表数据列出欧洲GDP最高的五个国家，或者根据图像生成HTML代码。

1、复杂数字的推理

Prompt:

List the top 5 countries in Europe with the highest GDP

Response:

The top 5 countries in Europe with the highest GDP, based on the image, are:

1.Germany

·GDP: $3.99 trillion

·Percentage: 4.65%

2.United Kingdom

·GDP: $2.82 trillion

·Percentage: 3.29%

3.France

·GDP: $2.78 trillion

·Percentage: 3.24%

4.Italy

·GDP: $2.07 trillion

·Percentage: 2.42%

5.Spain

·GDP: $1.43 trillion

·Percentage: 1.66%

These countries are highlighted in green on the diagram.

2、图表理解和分析

Prompt:

When did things start to go wrong for dark dragon?

Response:

The image is a line graph titled ‘train/loss’ that shows the training loss over steps for four different models: dark-dragon-50, dainty-sunset-49, different-haze-34, and morning-field-33. The x-axis represents the steps, ranging from 0 to 60k, and the y-axis represents the loss on a logarithmic scale from 1e-5 to 1e+5.

To determine when things started to go wrong for the dark-dragon-50 model, we need to look at the red line representing this model. Initially, the loss decreases, indicating that the model is learning effectively. However, around the 10k step mark, the loss starts to spike significantly. This spike indicates that the model’s performance is deteriorating. The loss continues to spike and fluctuate, reaching very high values, which suggests that the model is not learning effectively and is likely overfitting or encountering other issues.

Therefore, the critical point where things started to go wrong for the dark-dragon-50 model is around the 10k step mark.

五、如何使用Pixtral？

用户可以通过La Plateforme或Le Chat轻松尝试Pixtral 12B。此外，Mistral AI还提供了`mistral-inference`工具，使得在本地运行Pixtral 12B变得简单。用户还可以选择使用vLLM库来提高服务吞吐量。

1、La Plateforme

Pixtral可以在La Plateforme上使用。你可以利用Pixtral的通过API调用实现的功能，实现与各种应用程序和工作流。下面是一个简单的例子。



`curl https://api.mistral.ai/v1/chat/completions \`

  `-H "Content-Type: application/json" \`  `-H "Authorization: Bearer $MISTRAL_API_KEY" \`  `-d '{`    `"model": "pixtral-12b-2409",`    `"messages": [`      `{`        `"role": "user",`        `"content": [`          `{`            `"type": "text",`            `"text": "What’s in this image?"`          `},`          `{`            `"type": "image_url",`            `"image_url": "https://tripfixers.com/wp-content/uploads/2019/11/eiffel-tower-with-snow.jpeg"`          `}`        `]`      `}`    `],`    `"max_tokens": 300`  `}'`

2、mistral-inference

在本地运行Pixtral的最简单方法是使用 mistral-inference。安装 mistral_inference 后，您可以下载模型，加载模型，并使用下面的代码运行模型。



`# download the model`

`from huggingface_hub import snapshot_download``from pathlib import Path``   ``mistral_models_path = Path.home().joinpath('mistral_models', 'Pixtral')``mistral_models_path.mkdir(parents=True, exist_ok=True)``   ``snapshot_download(repo_id="mistralai/Pixtral-12B-2409", allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"], local_dir=mistral_models_path)``   ``# load the model` `from mistral_inference.transformer import Transformer``from mistral_inference.generate import generate``   ``from mistral_common.tokens.tokenizers.mistral import MistralTokenizer``from mistral_common.protocol.instruct.messages import UserMessage, TextChunk, ImageURLChunk``from mistral_common.protocol.instruct.request import ChatCompletionRequest``   ``tokenizer = MistralTokenizer.from_file(f"{mistral_models_path}/tekken.json")``model = Transformer.from_folder(mistral_models_path)``   ``# Run the model` `url = "https://huggingface.co/datasets/patrickvonplaten/random_img/resolve/main/yosemite.png"``prompt = "Describe the image."``   ``completion_request = ChatCompletionRequest(messages=[UserMessage(content=[ImageURLChunk(image_url=url), TextChunk(text=prompt)])])``   ``encoded = tokenizer.encode_chat_completion(completion_request)``   ``images = encoded.images``tokens = encoded.tokens``   ``out_tokens, _ = generate([tokens], model, images=[images], max_tokens=256, temperature=0.35, eos_id=tokenizer.instruct_tokenizer.tokenizer.eos_id)``result = tokenizer.decode(out_tokens[0])``   ``print(result)`

3、vLLM推理

如果您选择在本地提供Pixtral，还可以使用 vLLM 框架进行推理，以达到更高的服务吞吐量。下面是一个简单的用法示例。



`from vllm import LLM`

`   ``from vllm.sampling_params import SamplingParams``model_name = "mistralai/Pixtral-12B-2409"``sampling_params = SamplingParams(max_tokens=8192)``   ``llm = LLM(model=model_name, tokenizer_mode="mistral")``prompt = "Describe this image in one sentence."``   ``image_url = "https://picsum.photos/id/237/200/300"``   ``messages = [`    `{`        `"role": "user",`        `"content": [{"type": "text", "text": prompt}, {"type": "image_url", "image_url": {"url": image_url}}]`    `},``]``   ``outputs = vllm_model.model.chat(messages, sampling_params=sampling_params)``print(outputs[0].outputs[0].text)`

结语

Pixtral 12B的问世，不仅是多模态AI模型的一个飞跃，更是未来人工智能应用的一个风向标。它在多模态任务上的出色表现，以及在文本处理上的顶尖性能，预示着它将在人工智能的舞台上扮演越来越重要的角色。随着技术的不断进步，我们有理由相信，Pixtral 12B将开启一个多模态智能的新纪元。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述