60+主流大模型全解析：2025最实用开源部署与微调指南
项目地址: https://gitcode.com/datawhalechina/self-llm 你是否还在为选择合适的大模型而烦恼？面对层出不穷的开源大模型，不知道如何快速部署和微调？本文将为你全面解析Datawhale self-llm项目中60+主流大模型的特性、部署方法和微调技巧，帮助你轻松掌握大模型应用全流程。读完本文，你将能够：
- 了解当前主流开源大模型的特点与适用场景
- 掌握在Linux环境下部署各类大模型的方法
- 学会使用LoRA等技术对模型进行高效微调
- 构建属于自己的专属知识库助手
项目概述
Datawhale self-llm项目是《开源大模型食用指南》针对中国用户量身打造的基于Linux环境快速微调（全参数/Lora）、部署国内外开源大模型（LLM）/多模态大模型（MLLM）的教程。项目旨在简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型。
项目主要内容包括：
- 基于Linux平台的开源LLM环境配置指南
- 针对国内外主流开源LLM的部署使用教程
- 开源LLM的部署应用指导，包括命令行调用、在线Demo部署、LangChain框架集成等
- 开源LLM的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning等
项目仓库地址：https://gitcode.com/datawhalechina/self-llm
模型生态总览
self-llm项目支持60+主流开源大模型，涵盖了国内外各大厂商的最新模型。这些模型可以分为通用大模型、代码大模型、多模态大模型等类别，满足不同场景的需求。
模型增长趋势
项目自启动以来，支持的模型数量持续增长，从最初的几个模型发展到现在的60+，反映了开源大模型领域的快速发展。
主要模型分类
| 模型类别 | 代表模型 | 应用场景 |
|---|---|---|
| 通用大模型 | Qwen3、GLM-4.5、Llama4 | 对话、问答、创作 |
| 代码大模型 | Qwen2.5-Coder、DeepSeek-Coder | 代码生成、解释、调试 |
| 多模态大模型 | GLM-4.1V-Thinking、Qwen2-VL | 图文理解、视觉问答 |
| 轻量级模型 | MiniCPM-o、ERNIE-4.5 | 边缘设备部署 |
| 垂直领域模型 | BGE-M3、AMChat | 检索增强、数学解题 |
热门模型深度解析
Qwen3系列
Qwen3是阿里云推出的最新一代大模型，包括Qwen3-0.6B、Qwen3-1.7B、Qwen3-8B和Qwen3-30B等多个版本。其中Qwen3-8B表现尤为突出，在多个评测榜单中名列前茅。
Qwen3系列模型支持多种部署方式，包括vLLM部署、FastApi部署等。以Qwen3-8B为例，使用vLLM部署可以大幅提高推理速度：
vLLM部署教程
Qwen3还引入了创新的Think机制，能够模拟人类的思考过程，提升复杂任务的解决能力。
GLM-4.5系列
GLM-4.5是清华大学知识工程实验室（KEG）和智谱AI联合研发的新一代大语言模型。GLM-4.5-Air是其中的轻量级版本，在保持高性能的同时，降低了部署门槛。
GLM-4.5-Air支持vLLM部署，能够实现高并发请求处理：
GLM-4.5-Air vLLM部署
此外，项目还提供了GLM-4.5-Air的性能评测报告，包括智商情商评测和并发性能测试：
GLM-4.5-Air性能评测
Qwen2.5-Coder
Qwen2.5-Coder是阿里云推出的代码大模型，基于Qwen2.5架构优化，专门针对代码生成任务进行了优化。该模型支持多种部署方式，包括FastApi部署和WebDemo部署：
Qwen2.5-Coder FastApi部署
Qwen2.5-Coder WebDemo部署
Qwen2.5-Coder还支持使用LoRA技术进行微调，以适应特定的编程风格或领域：
Qwen2.5-Coder LoRA微调
快速部署指南
环境准备
部署大模型前，需要准备合适的环境。self-llm项目提供了详细的环境配置指南，包括pip、conda换源等：
对于需要GPU支持的模型，还需要安装合适的CUDA版本和GPU驱动。
部署流程
大多数模型的部署流程可以概括为以下几个步骤：
- 下载模型权重
- 安装依赖库
- 启动服务（FastApi、WebDemo等）
- 测试模型功能
以Gemma-3-4b-it模型为例，使用FastApi部署的步骤如下：
Gemma-3-4b-it FastApi部署
常见部署方式对比
| 部署方式 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| FastApi | 轻量、灵活 | 不支持高并发 | 开发测试 |
| vLLM | 高性能、高并发 | 配置复杂 | 生产环境 |
| Ollama+OpenWebUI | 易于使用、界面友好 | 定制化程度低 | 个人使用 |
高效微调技巧
LoRA微调
LoRA（Low-Rank Adaptation）是一种参数高效的微调方法，能够在保持模型性能的同时，大幅减少微调所需的计算资源。self-llm项目中多个模型都提供了LoRA微调教程。
以Qwen3-8B为例，LoRA微调的步骤如下：
- 准备微调数据集
- 配置LoRA参数
- 开始微调训练
- 评估微调效果
- 模型导出与部署
可视化微调
self-llm项目集成了SwanLab实验管理工具，支持微调过程的可视化监控。通过SwanLab，用户可以实时查看损失曲线、学习率变化等关键指标，方便分析微调效果。
低资源微调
对于资源有限的用户，项目还提供了低精度微调方案，如4-bit、8-bit量化微调，能够在普通GPU上完成模型微调。
Qwen-7B低精度微调
实战案例
知识库助手构建
利用LangChain框架和开源大模型，可以快速构建专属知识库助手。self-llm项目提供了多个模型接入LangChain的教程，以Qwen1.5为例：
Qwen1.5接入LangChain
数学解题助手
AMChat是一个集成了数学知识和高等数学习题及其解答的大语言模型。该模型使用Math和高等数学习题及其解析融合的数据集，基于InternLM2-Math-7B模型，通过xtuner微调，专门设计用于解答高等数学问题。
数字生命创建
"数字生命"项目以个人为原型，利用特制的数据集对大语言模型进行微调，创造能够反映个人个性特征的AI数字人。整个流程是可迁移复制的，亮点是数据集的制作。
总结与展望
self-llm项目为开源大模型的落地应用提供了全方位的支持，从环境配置到模型部署，再到微调优化，涵盖了大模型应用的全流程。随着开源大模型的快速发展，项目将持续更新，支持更多优秀模型和前沿技术。
对于初学者，建议按照以下路径学习：
- 环境配置：pip、conda换源
- 模型部署：从Qwen1.5、InternLM2等模型开始
- 模型微调：学习LoRA基本原理和实践
- 应用开发：尝试构建知识库助手等实用应用
未来，self-llm项目将继续完善模型支持，优化教程质量，为开源大模型的普及做出贡献。欢迎大家关注项目更新，参与贡献，共同推动开源大模型生态的发展。
如果觉得本项目对你有帮助，欢迎点赞、收藏、关注，也欢迎提交Issue和PR，一起完善这个开源大模型的"百科全书"。
附录：模型选择指南
为了帮助用户选择合适的模型，我们提供了一个简单的决策树：
- 计算资源有限（<10GB GPU）：MiniCPM-o、ERNIE-4.5
- 需要多模态能力：GLM-4.1V-Thinking、Qwen2-VL
- 专注代码开发：Qwen2.5-Coder、DeepSeek-Coder
- 追求最佳性能：Qwen3-8B、GLM-4.5-Air
- 边缘设备部署：Qwen1.5-0.5B、Phi-3-mini
详细的模型对比和选择建议，请参考项目中的模型评测部分。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
