书生大模型实战营-XTuner 微调个人小助手认知任务

已于 2024-08-07 16:06:26 修改
阅读量145 收藏 1
点赞数 5
文章标签： python 人工智能
于 2024-08-07 16:01:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52114905/article/details/140994059
版权

感谢书生平台，欢迎大家也来参加书生大模型实战营项目（http://github.com/internLM/tutorial）

1.基础任务 

  • 使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，如下图所示（图中的伍鲜同志需替换成自己的昵称），记录复现过程并截图。

微调之前大模型回答，没有个人助手表现

微调之后大模型回答，官方示例

微调之后大模型回答，答题本人更改

weixin_52114905
关注
  • 5
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型-书生训练营第三期闯关指南-linux
07-19
大模型-书生训练营第三期闯关指南-linux
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生·浦语大模型实战营之XTuner 微调个人小助手认知
段智华的博客
04-12 1206
书生·浦语大模型实战营之XTuner 微调个人小助手认知在本节课中讲一步步带领大家体验如何利用 XTuner 完成个人小助手的微调！为了能够让大家更加快速的上手并看到微调前后对比的效果， 用 QLoRA 的方式来微调一个自己的小助手！可以通过下面两张图片来清楚的看到两者的对比。
【书生大模型实战】L1-XTuner 微调个人小助手认知任务
cjy_colorful0806的博客
08-02 527
当我们在测试完模型认为其满足我们的需求后，就可以对模型进行量化部署等操作了，这部分的内容在之后关于 LMDeploy 的课程中将会详细的进行讲解，敬请期待后续的课程吧！对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。比如我们这里微调的是书生·浦语的模型，我们就可以匹配搜索。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。
书生大模型实战营-XTuner 微调个人小助手认知
最新发布
weixin_63652204的博客
08-08 65
1.创建虚拟环境 下载所需要的包。6.重新对话 查看微调之后的效果。3.准备模型 查看微调前的状态。5.模型格式转换 模型合并。2.安装XTuner。
书生大模型实战营--L1关卡-XTuner 微调个人小助手认知
cgq081616的专栏
08-03 123
一、为什么要做模型微调，有些场景下大模型无法更好的回答用户问题。准备工作详细参考，这里有很详细的介绍。三、微调模型后的回答，符合预期。二、准备模型以及训练语料。
第三期书生大模型实战营之XTuner微调个人小助手认知
T_susan的博客
08-04 209
OpenXLab 部署教程：https://github.com/InternLM/Tutorial/tree/camp2/tools/openxlab-deploy。使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，记录复现过程并截图。将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab。在资源允许的情况下，尝试实现多卡微调与分布式微调。用自己感兴趣的知识对基座模型进行增量预训练微调。
书生大模型实战营3期 - 基础岛 - 5 - XTuner 微调个人小助手认知
wocsdn111的博客
07-25 132
【代码】书生大模型实战营3期 - 基础岛 - 2 - XTuner 微调个人小助手认知。
书生大模型学习笔记7 - XTuner微调个人小助手认知
jaysonhu的博客
08-07 307
验证安装结果。
基础岛第五关-书生大模型-XTuner 微调个人小助手认知
weixin_43808729的博客
08-02 577
对于在 InternStudio 上运行的小伙伴们，可以不用通过 HuggingFace、OpenXLab 或者 Modelscope 进行模型的下载，在开发机中已经为我们提供了模型的本地文件，直接使用就可以了。为了让模型能够认清自己的身份弟位，在询问自己是谁的时候按照我们预期的结果进行回复，我们就需要通过在微调数据集中大量加入这样的数据。在 PART 1 的部分，由于我们不再需要在 HuggingFace 上自动下载模型，因此我们先要更换模型的路径以及数据集的路径为我们本地的路径。
L1-XTuner 微调个人小助手认知任务
Finnwestbrook的博客
08-05 238
使用 internlm2_chat_1_8b_qlora_alpaca_e3 对 internlm2_chat_1_8b 进行指令微调。为了让模型按照我们预期的结果进行回复，需要通过在微调数据集中大量加入这样的数据。将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式。此时，hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”，即Adapter。1. 在PART1中修改模型路径，数据集路径和问题设置。训练后的结果，不过英文结果变成BERT了是为啥。
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
《AI大模型应用》-书生·浦语大模型.zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
大模型微调工具-torchtune
weixin_40777649的博客
08-08 316
1.定义2.安装3. 案例。
Python爬虫与MongoDB的完美结合
weixin_52392194的博客
08-03 819
我们掌握了在Windows和Linux系统下安装MongoDB，设计适合爬虫存储数据的写入规范，并通过实际爬虫示例展示了如何将爬取到的数据存储到MongoDB中。此外，还进行了MongoDB性能优化，提高了数据存储和查询的效率。
python的匿名函数
weixin_74923758的博客
08-05 208
python中的匿名函数是一种简洁的函数定义方式，它使用lambda关键字来创建。匿名函数通常用于需要一个函数对象，但又不想去定义一个完整的函数时。它们可以接收任意数量的参数，但只能有一个表达式。匿名函数经常与函数的参数一起使用，例如map（），filter（）和sorted()等函数，这些函数可以接受一个函数作为参数来指定如何操作数据。map()函数可以将一个给定的函数应用于一个可迭代对象的每个元素。是函数体，它是一个表达式，其结果将作为函数的返回值。
本地部署 Llama-3-EvoVLM-JP-v2
engchina的专栏
08-04 605
本地部署 Llama-3-EvoVLM-JP-v2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值