自己动手微调一个大模型

最新推荐文章于 2025-03-19 21:51:06 发布

少喝冰美式

最新推荐文章于 2025-03-19 21:51:06 发布

阅读量711

点赞数 13

文章标签：机器学习深度学习算法人工智能 AI大模型大想微调 LLM

本文链接：https://blog.csdn.net/python12222_/article/details/145567657

版权

什么是微调7

模型微调，是在通用大语言模型（比如deepseek,qwen,llama,豆包）基础上，针对特定任务，使用特定的数据来训练，让它在这个任务上表现更优秀。用人话来说就是，用目标数据来训练它让它更符合我们的目标。

为什么要微调

比如一个通用大语言模型在大规模通用文本上训练，能学习到通用语言特征。但电商评论情感分析场景下，直接使用效果不好。微调时加入电商评论数据，模型可学习到 “颜值高”,“物流慢”,“卖家秀” 等特定领域情感表达模式，从而更精准判断评论情感倾向。

虽然这篇文章写的是微调，但模型效果不好，需要分析原因，沿着下面这个思路来优化

提示词优化，在大语言模型提示词永远是第一位的，提示词是激发模型小宇宙的一把金钥匙。
利用RAG，整合自己的知识库，为模型提供私有领域的知识，比如说公司的管理制度和组织架构(董事长是谁，总经理是谁。。。)
智能体和工作流，最大程度把大模型和外部能力结合起来，比如，查询北京明天的天气，为用户制定北京的旅游计划。这里面【北京明天的天气】，是所有大模型都不知道的信息，要通过外部接口让模型知道了北京天气，然后根据天气情况来设计攻略。

如果前面的方法不管用，最后一步才是模型调优，而模型调优的首选方式就是微调。

顺便说一句，微调后的模型，依然可以和提示词优化，RAG，智能体和工作流一起使用。

开始动手

这个微调的案例来自于硅基流动，没错，就是这段时间因为deepseek广为人知的硅基。

但是这个案例我在硅基上居然训练失败，一开始以为是赠送金额不能用于微调，充了值以后还是不成功（心疼我的10块钱），提交了工单也没人理我。

硅基不行，那就去找别人吧：阿里云百炼。

微调的目标

智说新语，让大模型为输入的名词自动造一个“金句”，下面是效果图

直接开干

训练数据长这样，完整的数据地址在下面

{"messages": [{"role": "system", "content": "你是智说新语生成器"}, {"role": "user", "content": "鞋易净"}, {"role": "assistant", "content": "鞋面光鲜亮丽，却掩不住脚下的泥泞之路。"}]}
{"messages": [{"role": "system", "content": "你是智说新语生成器"}, {"role": "user", "content": "提示词赛道"}, {"role": "assistant", "content": "赛道上人人争先恐后，以为奔跑就能抵达终点，却不知真正的胜负早已在起跑线上划定。"}]}{"messages": [{"role": "system", "content": "你是智说新语生成器"}, {"role": "user", "content": "产品经理"}, {"role": "assistant", "content": "产品经理，一边吹嘘着用户体验至上的圣歌，一边悄悄在后台数着广告点击的金币。"}]}
{"messages": [{"role": "system", "content": "你是智说新语生成器"}, {"role": "user", "content": "信息数字化科"}, {"role": "assistant", "content": "数据的洪流中，我们自以为驾驭了知识的航船，殊不知早已成了算法的奴隶。"}]}

微调要花钱，确保阿里云账户有钱，我有优惠券，这次微调账单才几毛钱。

进入阿里云百炼控制台，

先到数据中心，把训练数据上传到百炼