DeepSeek爆了，普通人如何3小时完全从0训练自己的大模型

最新推荐文章于 2025-05-13 15:47:25 发布

AI大模型_学习君

最新推荐文章于 2025-05-13 15:47:25 发布

阅读量1.3k

点赞数 22

文章标签： DeepSeek 人工智能 AI大模型大模型训练 LLM 大语言模型大模型应用

本文链接：https://blog.csdn.net/python12345678_/article/details/145681557

版权

今天为大家介绍一个特别实用的开源项目 - MiniMind。它让我们可以用普通电脑，在短短 3 小时内训练出一个迷你版的 ChatGPT！

为防止误读，「最快 3 小时」是指您需要具备＞作者本人硬件配置的机器，具体规格的详细信息将在下文提供。

为什么这个项目这么特别？

目前市面上的大语言模型动辄上百亿参数，训练成本高昂。就算是自己想学习和研究，也会被巨大的硬件门槛挡在门外。而 MiniMind 通过精妙的设计，把模型参数压缩到了最小，让个人开发者也能亲手训练 AI 模型！

最小版本仅有 26M 大小（约为 GPT-3 的 1/7000），一张普通的游戏显卡就能运行。项目提供了完整的训练流程：

基础语言能力训练（预训练）
对话能力训练（指令微调）
快速适应新任务（LoRA 微调）
优化回答质量（DPO 偏好对齐）

环境需要

CPU: Intel(R) Core(TM) i9-10980XE CPU @ 3.00GHz
内存：128 GB
显卡：NVIDIA GeForce RTX 3090(24GB) * 2
环境：python 3.9 + Torch 2.1.2 + DDP单机多卡训练

Ubuntu == 20.04
Python == 3.9
Pytorch == 2.1.2
CUDA == 12.2
requirements.txt（本项目环境依赖）

实际应用场景

1. 个性化助手开发

你可以训练一个针对特定领域的 AI 助手，比如：

客服机器人：根据公司产品知识库训练
教育辅导：针对特定学科的习题讲解
行业助手：为特定行业提供专业建议

2. 技术学习与研究

了解大语言模型的工作原理
实践各种训练方法
尝试模型优化和改进

3. 产品原型验证

快速验证 AI 产品创意
测试不同场景下的效果
收集用户反馈进行迭代

技术亮点解析

轻量级架构

采用 Transformer 的 Decoder-Only 结构
使用 RMSNorm 预标准化提升性能
引入旋转位置编码处理长文本

创新的专家模型版本（MoE）

提供 4×26M 的混合专家模型
通过专家分工提升模型能力
保持较低的计算资源需求

灵活的部署选项

支持单卡/多卡训练
兼容主流深度学习框架
提供网页交互界面

上手有多简单？

只需几步就能开始：

# 1. 克隆项目
git clone https://github.com/jingyaogong/minimind.git

# 2. 安装依赖
pip install -r requirements.txt

# 3. 开始对话测试
python 2-eval.py

如果想要可视化界面，还可以使用内置的网页版：

streamlit run fast_inference.py

定制大模型

1. 克隆项目代码

git clone https://github.com/jingyaogong/minimind.git
cd minimind

2. 环境安装

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 测试torch是否可用cuda
import torch
print(torch.cuda.is_available())

如果不可用，请自行去 torch_stable 下载 whl 文件安装。参考链接，

https://blog.csdn.net/weixin_45456738/article/details/141029610

3. 自己训练数据集

下载数据集放到./dataset目录下
python data_process.py 命令处理数据集，例如 pretrain 数据提前进行 token-encoder、sft 数据集抽离 qa 到 csv 文件
在./model/LMConfig.py

这里仅需调整 dim 和 n_layers 和 use_moe 参数，分别是(512+8)或(768+16)，对应于minimind-v1-small和minimind-v1
python 1-pretrain.py 执行预训练，得到 pretrain_*.pth 作为预训练的输出权重
python 3-full_sft.py 执行指令微调，得到 full_sft_*.pth 作为指令微调的输出权重
python 4-lora_sft.py 执行 lora 微调（非必须）
python 5-dpo_train.py 执行 DPO 人类偏好强化学习对齐（非必须）

持续进化中

项目正在快速发展，目前已支持：

文本对话：流畅的中英文交互
视觉理解：可以理解和描述图像
知识更新：持续优化训练数据
性能提升：不断改进模型结构

最后

MiniMind 降低了 AI 开发的门槛，让更多人能够参与到大语言模型的探索中来。无论你是：

想入门 AI 的开发者
需要定制化 AI 助手的企业
对语言模型感兴趣的研究者

这个项目都能帮你快速起步，并在实践中不断成长。项目完全开源，想要了解更多 MiniMind 项目信息的读者可以查看项目地址：

https://github.com/jingyaogong/minimind

DeepSeek无疑是2025开年AI圈的一匹黑马，在一众AI大模型中，DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破，各大科技巨头都火速出手，争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火，远不止于此。它是一场属于每个人的科技革命，一次打破界限的机会，一次让普通人也能逆袭契机。

DeepSeek的优点

read-normal-img

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势，目前懂得大模型技术方面的人才很稀缺，而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行，对于想要转行创业，提升自我的人来说是一个不可多得的机会。

那么应该如何学习大模型

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

read-normal-img

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

read-normal-img

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

read-normal-img