mistral.rs入门指南 - 快速高效的LLM推理平台

mistral.rs简介

mistral.rs是一个快速、高效的大型语言模型(LLM)推理平台,具有以下主要特点:

• 支持在多种设备上进行推理,包括CPU、GPU和Apple Silicon
• 提供量化功能,支持2-bit到8-bit的量化
• 兼容OpenAI API的HTTP服务器
• 提供Python绑定,易于集成

主要功能

高性能推理

• 支持Apple Silicon的Metal框架
• CPU推理支持MKL和Accelerate优化
• CUDA支持,包括Flash Attention和cuDNN
• 连续批处理和PagedAttention支持
• 前缀缓存
• 设备映射:在设备和CPU上分层加载和运行

量化支持

• GGML:2-bit到8-bit量化,支持ISQ
• GPTQ:2-bit、3-bit、4-bit和8-bit量化
• HQQ:4-bit和8-bit量化,支持ISQ
• ISQ(原位量化):直接从Hugging Face Hub运行.safetensors模型

易用性

• 轻量级兼容OpenAI API的HTTP服务器
• Python API
• 支持正则表达式和Yacc的语法
<