对标GPT4！开源32K上下文大模型

对标GPT4！开源32K上下文大模型

刚刚，Mistral AI 的模型又双叒叕更新了！

关注****智言AI对话，即可免费体验无魔法版本的DALL·E3（画图）、GPT实时联网和4V功能（看图）！

智言AI对话

关注公众号，点击:发消息，即可使用chat4.0!支持"绘图Dalle-3"、“看图4V”、语音对话…

公众号

​

可以复制使用本文中的chatgpt提示词哦！ 电脑端复制链接进行使用： https://chat.chatgptten.com/

这次开源一如既往地「突然」，是在一个叫做 Cerebral Valley 的黑客松活动上公布的。

PPT 一翻页，全场都举起了手机拍照：

这次开源的 Mistral 7B v0.2 Base Model ，是 Mistral-7B-Instruct-v0.2 背后的原始预训练模型，后者属于该公司的「Mistral Tiny」系列。

此次更新主要包括三个方面：

• 将 8K 上下文提到了 32K；
• Rope Theta = 1e6；
• 取消滑动窗口。

**

下载链接：https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar…

更新之后的性能对比是这样的：

场外观众迅速跟进。有人评价说：「Mistral 7B 已经是同尺寸级别中最好的模型，这次改进是一个巨大的进步。 我将尽快在这个模型上重新训练当前的许多微调。」

Mistral AI 的第一个 7B 模型发布于 2023 年 9 月，在多个基准测试中实现了优于 Llama 2 13B 的好成绩，让 Mistral AI 一下子就打出了知名度。

这也导致目前很多开源大模型都已不再对标 Llama 2，而是将 Mistral AI 旗下的各系列模型作为直接竞争对手。

而 Mistral 7B v0.2 Base Model 对应的指令调优版本 Mistral-7B-Instruct-v0.2 在 2023 年 12 月就已开放测试，据官方博客介绍，该模型仅适用于英语，在 MT-Bench 上能够获得 7.6 分的成绩，逊于 GPT-3.5。

此次开放基础模型之后，开发者们就可以根据自己的需求对这个「当前最好的 7B 模型」进行微调了。

不过，7B 模型只能算是 Mistral AI 众多惊艳成果中的一项。这家公司的长远目标是对标 OpenAI。

中文版ChatGPT4.0微信端使用方式

标签：

AIGC
ChatGPT