新手小白也能看懂的大模型训练篇，通俗易懂

大模型玩家

于 2025-05-04 10:00:00 发布

阅读量654

点赞数 10

文章标签：人工智能产品经理学习 ai 大模型程序员转行

本文链接：https://blog.csdn.net/2401_85375186/article/details/147605376

版权

在这里插入图片描述

前言

当我学习大模型训练知识时，发现网上很多文章都过于偏重技术实战，充斥着代码和算法公式。对于不懂算法和懂一点Python代码的我来说，看到就会心生胆怯，不得已跳过或者直接放弃阅读，导致学的很慢。所以我想写一篇无代码和公式通俗易懂的讲解大模型的如何训练的文章。

如果将大语言模型比作一个学生，那么训练过程就像是一个"学习"的过程。今天，让我们通过简单的比喻，了解垂直领域大语言模型是如何一步步从"菜鸟"蜕变为"专家"的。

1. 预训练（Pretrain）：学习基础知识

就像学生需要先阅读大量教科书获取基础知识，大模型也需要先"阅读"海量文本数据。这个阶段叫预训练（Pretraining）。阅读数据包括：互联网文章、电子图书、百科全书和新闻报道等，比如维基百科、Common Crawl等海量文本数据。让我们举个例子，这样更容易理解，下面是一条预训练数据。

在这里插入图片描述

2. 增量预训练（Continue Pretrain）：学习专业知识

使用过ChatGPT的朋友都知道，它处理企业场景中额专业任务时准确率不高，本质的原因是它没有垂直领域的知识。所以这个阶段的目标是让模型阅读大量专业知识。模型需要学习领域专业知识、行业术语、专业规范和"行业黑话"，才能理解用户问题的含义。

目前有很多开源大模型，所以想要训练一个领域模型可以直接在开源模型的基础上进行Continue Pretrain，难度比从头训练简单了许多。

不同领域需要不同的专业数据，例如：

医疗：医学教材、临床指南、学术论文和诊疗手册等。

法律：法律法规、判例文书、法理解释和专业论文。

金融：金融教材、研究报告、政策文件、市场分析等专业资料。

数据格式与预训练（pretrain）阶段的例子相同。

在这里插入图片描述

3. 指令微调（ Fine-tune）：做练习题

学生需要做大量练习题来掌握知识要点，学会运用知识解决问题。同样，大模型也需要通过大量练习来学习如何解决问题。通过大量的"问答对"数据，模型可以掌握解题规律、生成答案的格式等技能，这个阶段就是微调。微调的方法有很多种，下篇文章会进行详细说明。

训练数据格式：

• 医疗问答单轮对话：问：糖尿病的早期症状有哪些？答：主要表现为"三多一少"：多饮、多尿、多食、体重下降。建议及时就医检查。
• 法律问答单轮对话：问：签订劳动合同需要注意什么？答：主要注意以下几点：合同期限、工作内容、薪资待遇、工作时间。
• 保险多轮问答示例：
• 问：30岁的人需要哪些保险？答：医疗险，解决生病住院门诊报销风险；重疾险，解决因重大疾病无法工作的收入损失风险。问: 重疾险购买时应该关注哪些问题？答：1.重度疾病、中度疾病、轻度疾病是否都包含；\n 2.轻、中度高发疾病是否包含在内；\n 3. ……

4. 人类反馈强化学习(RLHF-Reinforcement Learning from Human Feedback )：老师指导

就像学生在老师指导下不断改进，老师指出学生的错误并给出正确答案，大模型也通过人类标注和评分数据来优化其回答。目的是训练它：专业水准、表达方式、回答质量等方面，同时也训练模型拒绝回答敏感问题或涉及黄赌毒等内容。

数据格式：

{ “messages”: [{ “role”: “user”, “content”: “头疼应该怎么办？” }], “chosen”: { “role”: “assistant”, “content”: “面对头痛问题，建议您按以下步骤处理：\n1. 先观察症状：是否伴随发烧、恶心，持续多久，疼痛位置和性质如何\n2. 可以采取的缓解方法：适当休息、保持空气流通、根据情况使用冷热敷\n3. 如果出现剧烈头痛、持续时间长或伴随其他症状，建议及时就医检查\n\n温馨提示：头痛可能由多种原因引起，建议优先就医诊断，避免盲目服用止痛药。” }, “rejected”: { “role”: “assistant”, “content”: “吃止痛药就好了。” } }

{ “messages”: [{ “role”: “user”, “content”: “房东无故涨房租怎么办？” }], “chosen”: { “role”: “assistant”, “content”: “遇到房东无理涨租，建议您：\n1. 先核实合同条款：检查租赁合同中关于租金调整的约定和合同期限\n2. 采取以下维权方式：\n - 保持冷静，先与房东协商沟通\n - 准备当地租赁市场价格作为参考\n - 保留所有沟通证据（短信、录音等）\n3. 如协商无果，可以：\n - 向住建部门投诉\n - 申请调解\n - 必要时通过法律途径解决\n\n温馨提示：在租约期内，房东不得单方面涨租。” }, “rejected”: { “role”: “assistant”, “content”: “不用给他涨，直接告他去。” } }

{ “messages”: [{ “role”: “user”, “content”: “如何选择合适的重疾险？” }], “chosen”: { “role”: “assistant”, “content”: “选择重疾险需要综合考虑以下因素：\n1. 个人情况评估：\n - 年龄与健康状况\n - 家族病史\n - 经济承受能力\n - 现有保险配置\n2. 产品要素对比：\n - 保障范围（建议选择前症、轻症、中症、重症都覆盖的产品）\n - 赔付次数（单次/多次赔付）\n - 等待期和除外责任\n3. 保额建议：\n 建议保额=(年收入×5-10倍)+预期医疗费用\n\n温馨提示：建议咨询专业保险顾问，根据个人实际情况制定最适合的方案。” }, “rejected”: { “role”: “assistant”, “content”: “买保额最高的就行了。” } }

注释：以上是JSON数据格式。“user”+"content"表示用户问题，“assistant”+"content"表示模型答案，"chosen"是正确回答，"rejected"是错误回答。

5. 不同场景的训练策略

根据不同应用场景，训练策略也需要调整，不需要所有训练阶段都走一遍，因为每一步都有算力、人力、时间成本。

对话类场景：如医生AI助手，需要 Fine-tune → RLHF ，既要专业又要会"说话"，需要专业资料、真实对话和人工反馈数据。如果对于专业问题回答效果不佳则可以考虑 Continue Pretrain。

单一任务：如信息提取、产品推荐只需要一次对话即结束了。这类场景做Fine-tune就可以取的不错效果了。

结语

在这里插入图片描述

一个通用模型长为垂直模型，需要经过：学习专业知识（Continue Pretrain ）→ 做练习题（Fine-tune ）→ 老师指导纠错（RLHF）→评估效果（Model Evaluation）。评估标准的设计有很多种，我们后面展开再聊，但有一个认知很重要：评估标准对于客观评价模型能力至关重要，这个阶段就像软件测试一样，决定上线后的质量。

模型训练是一件高成本的事情且不是必须的，如果你是做一个Copilot（助手），提示词+工作流是一个高性价比的选择。