谁是开源之王？Mistral Large 2重磅发布，支持80多种编程语言

---

Llama 3.1登顶开源大模型王座仅仅过了一天，就被拉下了神坛，这次的主角是一家法国的团队Mistral AI，发布了其最新旗舰模型Mistral Large 2，这是一个具有 1230 亿参数的大型人工智能模型。该模型旨在增强代码生成、数学和推理能力，并支持超过 80 种编程语言。

模型信息

参数规模：1230 亿个参数，性能媲美 Llama 3.1 405B，但参数量仅为其三分之一，更适合个人开发者来部署。

上下文长度：上下文窗口为 128k tokens，适合处理长文本。

多语言支持：支持包括法语、德语、西班牙语、意大利语、葡萄牙语、中文、俄语、日语、韩语、印地语、阿拉伯语在内的多种语言。

编程语言支持：支持 80 多种编程语言，精通包括 Python、Java、C、C++、JavaScript 和 Bash 在内的绝大部分编程语言。

推理和代码生成：在 Human Eval 和 MBPP 基准测试中表现优异，代码生成能力可与 GPT-4o、Claude 3 Opus 和 Llama 3.1 405B 等最强模型相媲美。

顶尖编程能力

Mistral AI以代码模型著称，致力于帮助各种编码环境和项目的开发人员。

Mistral Large 2进行了非常大比例的代码训练，性能远优于1代Mistral Large，与GPT-4o、Claude 3 Opus和Llama 3 405B等领先型号的表现不相上下。

Mistral Large 2还增强了函数调用功能（Function Calling）。经过训练，Mistral Large 2能够熟练执行并行和顺序函数的调用，有望为复杂业务和项目赋能。而Mistral Large 2这一功能甚至打赢了GPT-4o和Claude 3.5 sonnet。

多语言文本指令优化

Llama 3.1针对八种不同语言进行了文本指令优化，但其中缺少了中文，在中文能力上引起了网友的吐槽。

Mistral Large 2支持了包括中文在内的十多种语言。

据测试，在多语言MMLU上，Mistral Large 2的平均性能明显优于Llama 3.1 70b(高了6.3%)，与Llama 3 405B相当。

模型用法

1. 部署模型

Mistral Large 2 123B可以运行在单个 NVIDIA H100 GPU 节点：

• 硬件要求：建议使用 NVIDIA H100 GPU 的节点，以确保高效运行。

• 下载模型：可以从Mistral AI的官方平台下载模型权重。请注意，模型权重免费开放供研究和非商业用途，商业用途需获得许可。

2. 编写代码

一个简单示例，展示加载和使用Mistral Large 2 123B模型生成文本：

import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer
# 加载模型和分词器model_name = "mistralai/large2-123b"tokenizer = AutoTokenizer.from_pretrained(model_name)model = AutoModelForCausalLM.from_pretrained(model_name)
# 输入文本input_text = "hello"input_ids = tokenizer(input_text, return_tensors="pt").input_ids
# 生成文本with torch.no_grad():    output_ids = model.generate(input_ids, max_length=50)
# 解码生成的文本generated_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)print(generated_text)

3. 微调模型

如果需要根据特定任务对模型进行微调，参考以下步骤：

• 准备数据：收集并准备好用于微调的训练数据。

• 设置训练参数：定义训练参数，如学习率、批量大小等。

• 训练模型：使用Hugging Face的Trainer API进行模型训练。

from transformers importTrainer, TrainingArguments
# 定义训练参数training_args = TrainingArguments(    output_dir='./results',    num_train_epochs=3,    per_device_train_batch_size=4,    save_steps=10_000,    save_total_limit=2,)
# 创建 Trainer 实例trainer = Trainer(    model=model,    args=training_args,    train_dataset=train_dataset,    eval_dataset=eval_dataset,)
# 开始训练trainer.train()

Mistral Large 2的Hugging Face链接：

https://huggingface.co/mistralai/Mistral-Large-Instruct-2407

在 AI 发展的浪潮中，我们深知强大算力对于推动 AI 创新的关键作用。英智未来专注于提供高效、稳定、灵活的算力租赁服务，助力您的 AI 项目飞速发展。

无论您是科研机构、创新企业还是个人开发者，英智未来的算力租赁都能为您量身定制解决方案，让您无需为高昂的硬件投入和复杂的运维烦恼，轻松拥抱 AI 新时代！

---