开源大模型盘点：免费本地部署，打造个性化ChatGPT！

大模型入门教程

于 2025-04-23 17:28:27 发布

阅读量1k

点赞数 19

文章标签： chatgpt 人工智能大模型 AI大模型大模型面试程序员大模型入门

本文链接：https://blog.csdn.net/2401_85343303/article/details/147459332

版权

在此文章中汇总梳理了目前国内外的很多开源大模型，这些开源大模型基本都是免费的，可以在本地部署自己的开源模型，也可以部署再服务器中，通过域名随时可以访问，可以说如果学会了如何部署开源大模型，完全可以构建一个自己的ChatGPT！

ChatGLM-6B

简介：ChatGLM-6B 是一个开源且支持中英双语问答的对话语言模型。它基于 General Language Model (GLM) 架构构建，拥有 62 亿参数。通过模型量化技术，用户能够在消费级显卡上进行本地部署，例如在 INT4 量化级别下，最低只需 6GB 显存即可运行。
用途：可广泛应用于各类自然语言处理任务，如日常对话、智能客服、文本生成、知识问答等领域，为用户提供准确、流畅的语言交互服务。
是否免费：是。
部署难易：相对容易，借助模型量化技术，普通消费级显卡即可满足部署需求，降低了用户的使用门槛。
特点：
针对中文进行优化，经过约 1T 标识符的中英双语训练，对中文语境的理解和处理能力出色。
结合监督微调、反馈自助、人类反馈强化学习等技术，虽参数规模不及千亿模型，但能生成符合人类偏好的回答，推理成本较低且效率较高。

ChatGLM2-6B

简介：作为 ChatGLM-6B 的第二代版本，ChatGLM2-6B 在初代模型的开发经验基础上全面升级。它拥有更长的上下文，能够处理更复杂的对话逻辑和信息；推理效率更高，可快速响应用户请求；协议更加开放，便于开发者进行定制和扩展。
用途：在自然语言对话、智能助手、信息检索与解答等方面表现出色，为用户提供高效、智能的语言交互体验。
是否免费：是。
部署难易：文中未详细提及，但基于初代模型的部署便利性，推测其部署难度不会过高。
特点：在继承初代模型优势的基础上，进一步提升了性能，为用户带来更优质的服务，尤其在处理长文本对话和复杂任务时更具优势。

VisualGLM-6B

简介：VisualGLM-6B 是一款创新的开源多模态对话语言模型。其语言模型部分基于 ChatGLM-6B，具备 62 亿参数，同时图像部分通过训练 BLIP2-Qformer 构建起与语言模型的桥梁，整体模型共 78 亿参数。
用途：主要用于处理包含图像、中文和英文的多模态信息，实现图文并茂的对话交互，可应用于图像描述生成、图文问答、视觉内容理解与对话等场景。
是否免费：是。
部署难易：文中未明确给出，鉴于其相对复杂的架构，可能需要一定的技术和资源支持来部署。
特点：能够融合视觉信息与语言信息，为用户提供更丰富、生动的交互体验，拓展了语言模型的应用边界。

MOSS

简介：MOSS 是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有 160 亿参数。在硬件需求方面，在 FP16 精度下可在单张 A100/A800 或两张 3090 显卡运行，在 INT4/8 精度下可在单张 3090 显卡运行。其基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过一系列训练具备多轮对话能力及使用多种插件的能力。
用途：适用于构建智能对话系统、多轮交互应用、插件增强型服务等，可通过插件扩展实现更多功能，如文件处理、网络搜索等。
是否免费：是。
部署难易：根据其对显卡的要求，对于具备相应硬件条件的用户来说，部署具有一定的可行性，但可能需要一定的技术配置。
特点：具备多轮对话能力，能灵活运用多种插件，丰富了对话的功能和应用场景，可根据用户需求进行定制化拓展。

DB-GPT

简介：DB-GPT 是一个以数据库为基础的开源 GPT 实验项目。它使用本地化的 GPT 大模型与数据和环境进行交互，确保无数据泄露风险，实现 100% 私密和安全。该项目为所有基于数据库的场景构建了完整的私有大模型解决方案。
用途：主要应用于数据库相关场景，如数据库查询优化、数据管理与分析、智能数据库助手等，帮助用户更高效地与数据库进行交互操作。
是否免费：是。
部署难易：支持本地部署，且可根据业务模块独立部署隔离，这使得其部署相对灵活，但可能需要一定的技术基础来进行配置和管理。
特点：专注于数据库领域，强调数据安全和隐私保护，为企业和开发者提供了安全可靠的数据库交互解决方案，可根据业务需求进行个性化定制。

CPM-Bee

简介：CPM-Bee 是一个完全开源、允许商用的百亿参数中英文基座模型。它采用 Transformer 自回归架构（auto-regressive），在万亿级高质量语料上进行预训练，展现出强大的基础能力。
用途：可应用于多种自然语言处理任务，如文本生成、翻译、问答系统、语义理解、内容创作等，为不同领域提供高质量的语言处理服务。
是否免费：是，企业如需商用需实名邮件申请并获得官方授权证书。
部署难易：文中未详细提及，但作为一个成熟的开源模型，应该有相应的部署文档和工具支持，便于开发者使用。
特点：
开源可商用，推动大模型在商业领域的应用和发展。
中英双语性能优异，在预训练语料筛选和配比上严格把关，在中英双语任务中表现出色。
拥有超大规模高质量语料，确保模型的学习能力和泛化能力。
得到 OpenBMB 大模型系统生态支持，配套一系列工具脚本，方便开发者进行进阶使用和优化。
具备强大的对话和工具使用能力，通过指令微调和工具学习训练出的实例模型，可实现高效的人机交互。

LaWGPT

简介：LaWGPT 是一系列基于中文法律知识的开源大语言模型。它在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上，扩充法律领域专有词表，并使用大规模中文法律语料进行预训练，从而增强了在法律领域的基础语义理解能力。之后，通过构造法律领域对话问答数据集和中国司法考试数据集进行指令精调，进一步提升了模型对法律内容的理解和执行能力。
用途：专门用于法律领域，如法律咨询、法律文书生成、法律案例分析、法律知识检索等，为法律从业者和普通用户提供专业的法律辅助服务。
是否免费：是。
部署难易：文中未明确说明，但考虑到其专业性和针对性，可能需要一定的法律知识和技术基础来进行部署和应用。
特点：专注于法律领域，对法律术语和法律逻辑的理解更为准确，能够为用户提供更精准、专业的法律相关服务，有效提升法律工作效率。

伶荔 (Linly)

简介：伶荔模型在 32*A100 GPU 上训练了不同量级和功能的中文模型，提供了强大的 baseline。目前公开可用的模型包括 Linly-Chinese-LLaMA（基于 LLaMA 在高质量中文语料上增量训练强化中文语言能力，有 7B、13B 和 33B 量级，65B 正在训练中）、Linly-ChatFlow（在 400 万指令数据集合上对中文基础模型指令精调，有 7B、13B 对话模型）以及 Linly-ChatFlow-int4（ChatFlow 4-bit 量化版本，用于在 CPU 上部署模型推理）。同时，该项目公开所有训练数据、代码、参数细节以及实验结果，确保项目的可复现性。
用途：适用于多种中文自然语言处理任务，如文本生成、对话交互、信息检索、语言翻译等，为中文语言处理提供了丰富的模型选择。
是否免费：是。
部署难易：项目具有高兼容性和易用性，提供可用于 CUDA 和 CPU 的量化推理框架，并支持 Huggingface 格式，降低了部署难度，方便用户在不同环境下使用。
特点：
训练资源充足，提供了不同量级的模型，满足不同用户的需求。
公开透明，所有相关数据和代码均公开，便于用户深入研究和二次开发。
兼容性强，支持多种硬件和格式，便于部署和集成到不同的系统中。

Chinese-Vicuna

简介：Chinese-Vicuna 是一个基于 LLaMA 的中文低资源 LLaMA+Lora 方案。项目包含 finetune 模型的代码、推理的代码、仅使用 CPU 推理的代码（使用 C++）以及下载/转换/量化 Facebook llama.ckpt 的工具等。
用途：可用于中文自然语言处理任务，如文本生成、对话系统、中文内容创作等，为中文语言处理提供了一种轻量级的解决方案。
是否免费：是。
部署难易：提供了多种代码和工具，有助于用户根据自身需求和环境进行部署，但可能需要一定的技术能力来配置和使用。
特点：采用低资源方案，在一定程度上降低了对硬件资源的依赖，同时结合 Lora 技术，可在有限资源下实现较好的性能，便于在资源受限的环境中应用。

Chinese-LLaMA-Alpaca

简介：Chinese-LLaMA-Alpaca 包含中文 LLaMA 模型和经过指令微调的 Alpaca 大型模型。这些模型在原始 LLaMA 的基础上，扩展了中文词汇表并使用中文数据进行二次预训练，进一步提高了对中文基本语义理解的能力。其中，中文 Alpaca 模型还利用中文指令数据进行微调，显著提升了模型对指令理解和执行的能力。
用途：广泛应用于中文自然语言处理领域，如智能对话、文本生成、指令执行、中文知识问答等，为中文用户提供更优质的语言交互服务。
是否免费：是。
部署难易：文中未详细提及，但基于其对 LLaMA 的改进和扩展，部署难度可能与 LLaMA 相近，需要一定的技术基础。
特点：针对中文进行优化，在中文语义理解和指令执行方面表现出色，能够更好地适应中文语境下的各种任务需求。

ChatYuan

简介：ChatYuan 是一个支持中英双语的功能型对话语言大模型。ChatYuan-large-v2 使用了和 v1 版本相同的技术方案，并在微调数据、人类反馈强化学习、思维链等方面进行了优化。它是 ChatYuan 系列中以轻量化实现高质量效果的模型之一，用户可以在消费级显卡、PC 甚至手机上进行推理（INT4 最低只需 400M）。
用途：适用于多种对话场景，如日常聊天、智能客服、语言学习辅助等，为用户提供便捷、高效的对话服务。
是否免费：是。
部署难易：部署较为容易，其轻量化特点使得它可以在多种设备上运行，降低了对硬件的要求，方便用户随时随地使用。
特点：
轻量化设计，在保证质量的前提下，能够在资源有限的设备上运行，提高了模型的适用性。
通过优化技术，不断提升对话质量，能够更好地理解用户意图并生成合理的回答。

华佗 GPT

简介：华佗 GPT 是开源中文医疗大模型，它致力于融合 ChatGPT 生成的“蒸馏数据”和真实世界医生回复的数据，以使语言模型具备像医生一样的诊断能力和提供有用信息的能力。通过这种方式，它努力为用户提供丰富且准确的问诊服务，在医疗领域发挥着重要作用。
用途：主要用于医疗领域，如在线问诊、医疗咨询、疾病诊断辅助、医疗知识普及等，帮助患者获取初步的医疗建议和信息。
是否免费：是。
部署难易：文中未明确提及，但考虑到其专业性和数据需求，可能需要一定的医疗知识和技术支持来部署和优化。
特点：
数据融合创新，结合了两种不同来源的数据，提高了模型在医疗诊断和信息提供方面的准确性和实用性。
专注医疗领域，能够针对医疗问题提供更专业、针对性更强的回答，为医疗服务提供了新的辅助手段。

本草

简介：本草（原名：华驼）是基于中文医学知识的 LLaMA 微调模型。该项目开源了经过中文医学指令精调/指令微调（Instruct-tuning）的 LLaMA-7B 模型。通过医学知识图谱和 GPT3.5 API 构建了中文医学指令数据集，并在此基础上对 LLaMA 进行指令微调，从而有效提高了 LLaMA 在医疗领域的问答效果。
用途：专注于医疗领域的问答任务，如医学知识查询、疾病诊断辅助、医疗方案建议等，为医疗人员和患者提供专业的医学知识支持。
是否免费：是。
部署难易：文中未详细说明，但基于其对 LLaMA 的微调，部署难度可能与 LLaMA 类似，需要一定的技术能力来操作。
特点：利用医学知识图谱和 API 构建数据集进行微调，使模型在医疗领域的问答表现更加出色，能够提供更准确、专业的医学信息。

鹏程·盘古α

简介：「鹏程·盘古α」是业界首个 2000 亿参数以中文为核心的预训练生成语言模型，目前开源了两个版本：鹏程·盘古α和鹏程·盘古α增强版，并支持 NPU 和 GPU 两个版本。该模型在知识问答、知识检索、知识推理、阅读理解等文本生成领域表现突出，具备较强的少样本学习的能力。整个框架特点丰富，包括框架移植、可持续学习、多语言模型、开放域对话模型等功能。
用途：广泛应用于自然语言处理的多个领域，如智能问答系统、文本生成、知识图谱构建、智能写作助手等，为各行业提供高质量的语言处理服务。
是否免费：是。
部署难易：文中未详细提及，但鉴于其大规模和复杂的架构，可能需要一定的技术和计算资源来部署和优化。
特点：
参数规模庞大，具有强大的语言处理能力，能够处理复杂的文本任务。
支持多语言和多种场景应用，具有广泛的适用性。
框架具备多种特性，如可持续学习能力，可不断提升模型性能；多语言模型支持多种语言的处理；开放域对话模型可实现自然流畅的对话交互。

一、大模型风口已至：月薪30K+的AI岗正在批量诞生

在这里插入图片描述

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

在这里插入图片描述

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

在这里插入图片描述