大家好，今天聊聊我对大模型微调技术几点实践看法，喜欢记得收藏、关注、点赞。
更多技术交流，资料，文末加入我们技术群获取。
为什么要对大模型进行微调（Fine-tuning）
与其说对 LLM 大模型进行微调，不如说“能力增强”更体贴，由于 LLM 大模型的预训练的数据样本知识容量“相对有限”，造成 LLM 大模型有以下3个方面的缺陷：
第一、知识库更新不及时，比如：GPT 4 Turbo 的知识截止时间是 2023年04月，你问它 OpenAI 的宫斗大戏，它是不知道的。
第二、缺少企业级高质量垂直数据知识，比如：企业内部的项目数据、流程数据、业务数据、代码数据等，造成在行业垂直问答会出现一定的幻觉现象。
第三、数据安全和隐私问题是每个企业的生命线，企业需要牢牢掌握在自己手里，稳定性也是企业密切关注的，比如：最近的阿里云大事故、滴滴大事故、ChatGPT 崩溃事故等，让企业对数据安全和稳定性更加敬畏，如履薄冰。
解决 LLM 大模型的上述缺陷，就有了大模型能力增强技术，从广义来讲，LLM 能力增强技术有两条路线：微调（Fine-tuing）和 RAG（Retrieval Augmented Generation）。
这两种技术的比较对比如下：
今天我们先分享下微调（Fine-tuning）能力增强技术。
大模型微调（Fine-tuning）技术落地
大模型微调有2种方式，全参数 Fine-tuning 和 小参数量 Fine-tuning。全参数 Fine-tuning 成本实在太高，比如：GPT-3 全参数微调一次要花费 140万美金，因此在企业实际实践中使用的是小参数量微调，又称为参数高效微调 PEFT（Parameter Efficient Fine Tuning）。
PEFT 在企业中常用的实践方法有以下几种：Prompt-tuning、Prefix tuning、Adapter、LLaMA-adapter、P-Tuning V2、LoRA 等。
这几种常用的微调方式准确性（Acc）和损失（Loss）实践对比如下：
基于 LoRA 的微调实现有以下5个步骤：
第一、数据工程，准备好需要微调的样本数据，按照大模型的微调数据格式整理好，比如：{“context”：“双12马上到了，应该给程序员同学推荐什么类型的学习课程？”，“target”：“AIGC 学习计划”}。
第二、选用参数高效微调框架，推荐 https://github.com/huggingface/peft
第三、选用微调 LLM 大模型，推荐清华智谱 ChatGLM3。
第四、配置 LLM 大模型微调参数，开始微调训练。
第五、按照验证数据集，对微调后的 LLM 大模型进行数据验证。
更详细的实践落地步骤和代码实现可以在我们技术群获取。
总之，掌握好 LLM 大模型微调技术架构和落地实现，对于 IT 人来说是一项非常重要的技能，它可以让您的 LLM 大模型业务研发更高效和创新。
技术交流
技术要学会分享、交流，不建议闭门造车。一个人走的很快、一堆人可以走的更远。
建立了大模型面试&技术交流群， 大模型学习资料、数据代码、技术交流提升， 均可加知识星球交流群获取，群友已超过2000人，添加时切记的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。
方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2060，备注：技术交流
760
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
