Mistral Small 3.1 是由 Mistral AI 开发的一款先进人工智能模型,基于 Mistral Small 3 构建,具有以下特点和性能:
基本信息
参数规模:Mistral Small 3.1 拥有 240 亿个参数。
许可证:在 Apache 2.0 许可证下发布,允许商业和非商业目的的使用和修改。
部署方式:可以部署在本地,量化后可安装在单个 RTX 4090 或 32GB RAM MacBook 中。
性能表现
文本性能:在多个文本指令基准测试中表现优异,如在 MMLU 测试中取得 80.62% 的成绩,在 HumanEval 测试中达到 74.71% 的准确率。
多模态理解:具备强大的视觉理解能力,能够分析图像并结合文本内容提供见解,在 AI2D 技术等视觉相关测试中表现突出。
长上下文处理:具有高达 128k 个令牌的扩展上下文窗口,在处理长文档等需要长上下文理解的任务时表现出色,如在 LongBench 版本 2 的 128k 标尺测试中取得 81.20% 的成绩。
多语言支持:支持包括英语、法语、德语等数十种语言,在多种语言的性能测试中平均欧语言性能达到 75.30%。
快速推理速度:提供每秒 150 个令牌的推理速度,适合需要快速响应的应用场景。
技术特点
指令微调:是 Mistral-Small-3.1-24B-Base-2503 的指令微调版本,能够更好地理解和执行各种指令。
分词器:使用词汇量为 131k 的铁拳分词器,有助于提高模型对文本的理解和生成能力。
系统提示符:保持对系统提示符的严格遵守和支持,方便用户根据需求进行定制化使用。
应用场景
对话代理:适合快速响应的对话代理,为企业和消费级 AI 应用程序提供坚实的基础。
函数调用:能够在自动化或代理工作流中快速执行函数,支持低延迟函数调用。
专业领域微调:可以进行微调以专注于特定领域,如法律咨询、医疗诊断和技术支持等,培养出准确的主题专家。
视觉相关应用:适用于文档验证、诊断、设备上图像处理、用于质量检查的目视检查、安全系统中的对象检测、基于图像的客户支持和通用协助等需要多模态理解的应用场景。
可用性
下载平台:可在 huggingface 网站上下载 Mistral Small 3.1 Base 和 Mistral Small 3.1 Instruct。
API 试用:从发布之日起,可以在 Mistral AI 的开发者游乐场 La Plateforme 上通过 API 试用该模型。
云平台支持:该模型也可在 Google Cloud Vertex AI 上使用,并将在未来几周内在 NVIDIA NIM 和 Microsoft Azure AI Foundry 上提供。