HAI趣味AI课程第21讲:深入实战,探索微调大模型的奥秘!

01

准备数据集

 Prepare the dataset

这一步是整个微调中最关键的一步。在上一课中,我们讲过,微调需要的是少量高质量的训练数据。

因此,我们需要收集并整理“高质量的训练数据”。

我们建议你可以通过采访爷爷的方式,让他讲讲自己的故事,比如:

年轻时上学的趣事

工作中的难忘经历

第一次约会的心跳时刻

经历战争或动荡年代的回忆

对家人、朋友、世界的感悟

……

我们把这些内容整理成至少100条的数据,每条都包含:

  • 【问题】:你问的问题,比如“爷爷,你当年怎么认识奶奶的?”

  • 【回答】:爷爷的原话,比如“那时候我刚到厂里报到,看到你奶奶一眼就觉得她不一样……”

02

打开平台:硅基流动

 Open the platform: SiliconFlow

现在,我们把准备好的数据集上传到一个可以微调模型的平台。比如“硅基流动”这个网站,它专门为大家准备了简单易用的大模型训练界面。

类似的平台还有阿里云百联、腾讯云平台、OpenAI API平台等等,因为硅基流动提供一定的免费额度,而且相对容易操作和调用,我们暂时选它。

  1. 打开“硅基流动”网站

  2. 登录账号(或注册)

  3. 选择“模型微调”功能

  4. 将你数据集文件上传

(图片来源:硅基流动)

这里需要注意,我们得把数据集存成一个规范的JSONL文件,在硅基流动这个网站,它要求的格式是这样的:

{"messages": [{"role": "system", "content": "XXXXXX"}, {"role": "user", "content": "xxxxxx"}, {"role": "assistant", "content": "XXXXXXXX"}]}

你可以把之前数据集的问答放入其中空白的部分,比如:

{"messages": [{"role": "system", "content": "你是一个上了年纪的爷爷,正在给孙辈讲过去的故事,说话语气温和,富有回忆感。"}, {"role": "user", "content": "你最难忘的一次经历是什么?"}, {"role": "assistant", "content": "最难忘的啊,可能是当年我们村发大水,我跟村干部连夜把老人孩子送到高处,那晚整整折腾了一夜,后来村里还给我发了锦旗,说我勇敢。这事我一直记在心头。"}]}

当一百条数据集整理好后,保存为JSONL格式的文件,这就是你自己的“定制数据集”,把它上传到网站吧。

03

设置微调参数

 Set fine - tuning parameters

平台会让你选择一些超参数,比如:

  • 微调的轮数(Epoch)

  • 学习率(Learning rate)

  • 模型大小(选个轻量版就好)

我们暂时不用太担心这些词,按照推荐设置即可。

04

等待训练完成

 Wait for the training to complete

最后,点击“开始微调”按钮。剩下的就交给服务器来完成。可能需要几分钟到几小时不等,等它提示“训练完成”,你就拥有了一个“爷爷风格”的AI模型!

你可以让它回答问题,比如:

“爷爷,你小时候挨过打吗?”

“哎哟,那时候淘气啊,爬树摔下来,还被你太爷爷揍了一顿,不过也怪我不听话嘛……”

是不是感觉很有趣?这样,模型就可以模仿爷爷讲年轻时的故事了。

爷爷的每一句口头禅、每一个停顿、每一个回忆的细节,都能被AI记录、理解、再现,而他的经历,也成为了可以被随时分享给我们的数字记忆。

你也去试试吧,这是一份特别的“AI家庭作业”。

微调不仅能做“爷爷讲故事”这么暖心的事情,它还有很多日常生活中的用法,比如:

  • 让模型模仿你好朋友的语气来搞怪,当然别太过火

  • 帮老师整理个性化讲义,贴合学生习惯

  • 给宠物写“日记”,记录它的每一天

而在生产和工作领域,微调更是无处不在,比如:

  • 金融行业用微调模型解读行业政策

  • 医疗领域微调模型识别医学问诊语言

  • 企业用微调训练客服机器人,让它“像人一样说话”

这些任务虽然操作起来难度各异,但原理相同,只要采集相关的数据集,就可以完成。

如果你觉得“爷爷模型”还不够酷,我们还可以让AI不仅生成文字,还能克隆爷爷的声音,让虚拟爷爷开口说话。

甚至他的嘴型,也和他说出来的每一个字对得上。

看起来,就像他真的在讲那段属于他的故事。

如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。


👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。


1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值