甭管是个人还是企业都能部署的Mistral-Small3.1，远超同级别的模型

最新推荐文章于 2025-04-25 17:16:46 发布

甄齐才

最新推荐文章于 2025-04-25 17:16:46 发布

阅读量765

点赞数 20

分类专栏：人工智能（AI）文章标签： Gemma3 QwQ-32B 小钢炮 Ollama torch 小模型量化版

本文链接：https://blog.csdn.net/coco2d_x2014/article/details/146382322

版权

32 篇文章

订阅专栏

本文已首发于秋码记录
微信公众号：你我杂志刊
在这里插入图片描述

秋码记录网站使用的主题是开源的，目前只在github.com开源。
hugo-theme-kiwi开源地址：https://github.com/zhenqicai/hugo-theme-kiwi

这不Gemma3刚开源出来，立马炸裂了整个“科技界”，还没等它把“热度”持续火下去，Mistral-Small3.1却再次掀起了“科技界”的热度。

Mistral-Small3.1是Mistral AI推出的240亿参数开源多模态模型，基于Transformer架构优化设计，核心特性包括：

在这里插入图片描述

那么，接下来，我们在本地通过Ollama来部署Mistral-Small3.1。

如果你还没安装Ollama的话，那么，你可以去它的官网进行下载安装，Ollama官网。

我这里选择了量化版，根据自己电脑的硬件设备来下载对应的量化版本。

在这里插入图片描述

拷贝命令，直接黏贴到Terminal中。

ollama run MHKetbi/Mistral-Small3.1-24B-Instruct-2503:q6_K_L

在这里插入图片描述

轻量级：Mistral Small 3.1 可以在单个 RTX 4090 或具有 32GB RAM 的 Mac 上运行。这使其非常适合设备上的使用情况。
快速响应对话帮助：非常适合虚拟助手和其他需要快速、准确响应的应用程序。
低延迟函数调用：能够在自动化或代理工作流程中快速执行函数
针对专业领域进行微调：Mistral Small 3.1 可以针对特定领域进行微调，打造精准的主题专家。这在法律咨询、医疗诊断和技术支持等领域尤其有用。
高级推理的基础：社区在开放的 Mistral 模型之上构建模型的方式继续给留下深刻印象。仅在过去几周，就看到了几个基于 Mistral Small 3 构建的出色推理模型，例如Nous Research 的DeepHermes 24B。为此，发布了 Mistral Small 3.1 的基础和指令检查点，以便进一步对模型进行下游定制。