Mistral-7B本地运行【Ollama】

Mistral AI 目前提供两种类型的大型语言模型访问方式：

• 提供按使用量付费访问最新模型的 API，
• 开源模型可在 Apache 2.0 许可证下使用，可在 Hugging Face 上或直接从文档中获取。

在本指南中，我们概述了 Mistral 7B LLM 以及如何提示它。此外还包括与 Mistral 7B 和微调模型相关的提示、应用、限制、论文和其他阅读材料。

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包 

1、Mistral-7B简介

Mistral 7B 是 Mistral AI 发布的 70 亿参数语言模型。 Mistral 7B 是一种精心设计的语言模型，可提供高效和高性能以支持实际应用程序。 由于效率的提高，该模型适用于需要快速响应的实时应用。 发布时，Mistral 7B 在所有评估基准中均优于最佳开源 13B 模型 (Llama 2)。

能力：Mistral 7B 在各种基准测试中都表现出了卓越的性能，甚至优于参数数量较多的模型。 它在数学、代码生成和推理等领域表现出色。 以下是数学推理、世界知识和常识推理等多项任务的结果

代码生成：Mistral 7B 实现了 Code Llama 7B代码生成性能，同时不牺牲非代码基准测试的性能。 让我们看一个简单的示例来演示 Mistral 7B 代码生成功能。

我们将使用 Fireworks.ai 推理平台来获取 Mistral 7B 提示示例。 我们使用默认设置并将 max_length 更改为 250。

Mistral 7B 专为轻松微调各种任务而设计。 Mistral 7B Instruct 模型快速演示了基本模型可以轻松微调以实现引人注目的性能。 该版本的模型针对对话和问题回答进行了微调。

与许多其他LLM一样，Mistral 7B 可能会产生幻觉，并且容易出现提示注入等常见问题。 虽然 Mistral 7B 在许多领域表现出了令人印象深刻的性能，但其有限的参数数量也限制了它可以存储的知识量，特别是与较大的模型相比。

2、Ollama 本地运行Mistral 7B

Ollama 是你在 macOS 或 Linux 上本地运行大型语言模型的简单方法。 只需下载 Ollama 并在 CLI 中运行以下命令之一即可。

对于默认的 Instruct 模型：

ollama run mistral

对于文本补全模型：

ollama run mistral:text

注意： 至少需要 8GB RAM。 你可以在 Ollama Mistral 库文档中找到更多详细信息。

3、结束语

Mistral 7B 是一个 7.3B 参数模型：

• 在所有基准测试中均优于 Llama 2 13B
• 在许多基准测试中均优于 Llama 1 34B
• 接近 CodeLlama 7B 的代码性能，同时保持良好的英语任务表现
• 使用分组查询注意力 (GQA) 进行更快的推理
• 使用滑动窗口注意 (SWA) 以较小的成本处理较长的序列

Mistral AI在 Apache 2.0 许可证下发布 Mistral 7B，它可以不受限制地使用。

• 下载并通过官方参考实现在任何地方（包括本地）使用它，
• 使用 vLLM 推理服务器和 skypilot 将其部署在任何云 (AWS/GCP/Azure) 上
• 在 HuggingFace 上使用它。

Mistral 7B 可以轻松地针对任何任务进行微调。 作为演示，官方提供了一个针对聊天进行微调的模型，其性能优于 Llama 2 13B chat模型。

---

原文链接：Ollama运行Mistral 7B - BimAnt