10.7K star！3块钱+2小时就能从0训练自己的 AI 大模型，这么牛？！

本文链接：https://blog.csdn.net/Wufjsjjx/article/details/147249091

最近 AI 可太火啦，大语言模型一个接一个地冒出来，像 DeepSeek 这些，功能强大得让人惊叹。可咱普通人想自己捣鼓一个大模型，那难度就像登天一样。那些大模型参数动不动就几百亿，训练起来不仅要超厉害的硬件设备，还得有专业团队才行，成本高得吓人。

今天小林君就给大家分享一个超酷的开源项目 - MiniMind，它能让咱们普通人也能轻松训练自己的大模型！

项目简介

MiniMind 是一个开源项目，它允许你从零开始，用极低的成本和时间训练出一个超迷你的语言模型。这个项目不仅提供了完整的训练流程代码，还涵盖了从数据清洗到模型训练的每一个环节，简直就是一本活生生的AI教科书！而且，MiniMind的最小版本只有25.8MB，比GPT-3小了7000倍，手机都能跑，厉害吧！

目前在Github上收获了10.7K star！

性能特色

你真的还以为训练AI需要猛堆天价算力、各种团队？MiniMind告诉你完全不一样的路径：

超低成本：租用一张NVIDIA 3090显卡，训练总成本不到3块钱，比一杯奶茶还便宜！
超短时间：从数据清洗到模型训练，全流程自动化，普通人2小时就能搞定，效率杠杠的！
超小体积：最小模型仅25.8MB，手机都能流畅运行，方便携带，随时随地都能秀一把AI技能！
全流程开源：从预训练到微调，再到LoRA、DPO等前沿技术，所有代码都是从零开始用PyTorch原生框架重构的，没有任何第三方依赖，小白也能轻松上手！
前沿技术加持：支持混合专家（MoE）、直接偏好优化（DPO）等前沿技术，让模型更智能、更贴心！
多模态扩展：不仅限于文本处理，还支持图像理解等多模态任务，功能更全面！

快速安装使用

作者测试的硬件配置如下：

CPU: Intel(R) Core(TM) i9-10980XE CPU @ 3.00GHz
RAM: 128 GB
GPU: NVIDIA GeForce RTX 3090(24GB) * 8
Ubuntu==20.04
CUDA==12.2
Python==3.10.16
requirements.txt

安装使用过程也不难。我们得把项目代码克隆到自己电脑上，打开命令行，输入下面的代码：

git clone https://github.com/jingyaogong/minimind.git

接着安装项目需要的各种依赖，在命令行里输入：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装好之后，要是你想测试已有模型的效果，可以从Hugging Face上把模型下载下来，命令是：

git clone https://huggingface.co/jingyaogong/MiniMind2

下载好模型，就可以在命令行里测试问答效果啦，输入：

python eval_model.py --load 1 --model_mode 2

要是你更喜欢用图形界面，那就安装个Streamlit，然后输入下面的命令启动Web UI：

pip install streamlit
cd scripts
streamlit run web_demo.py

要是你想自己训练一个模型，在安装好依赖后，还得下载数据集，把数据集放到./dataset/目录下。然后就可以开始训练啦，先进行预训练，让模型学习基础知识，在命令行输入：

python train_pretrain.py

预训练完成后，再进行监督微调，让模型学会怎么跟人对话，输入：

python train_full_sft.py

训练好之后，就能测试模型效果了，把训练好的模型文件放在./out/目录下，然后在命令行输入：

python eval_model.py --model_mode 1

项目体验展示

MiniMind真的是一个非常棒的开源项目。它不仅降低了AI开发的门槛，还提供了全流程的开源代码，让每个人都能亲手训练自己的AI模型。无论是想入门AI的开发者，还是需要定制化AI助手的企业，或者是对语言模型感兴趣的研究者，MiniMind都是一个值得尝试的项目。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望