书生大模型闯关-L1-XTuner 微调个人小助手认知任务

最新推荐文章于 2024-09-27 16:14:02 发布
最新推荐文章于 2024-09-27 16:14:02 发布
阅读量195 收藏
点赞数 2
文章标签： 服务器 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Passi0nate/article/details/142289492
版权

1 主要任务

基础任务

  • 使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，如下图所示（图中的伍鲜同志需替换成自己的昵称），记录复现过程并截图。

2 实现过程

初次让其介绍自己,模型的回答只是通用的回答。在建立自己的一个简易问答对数据集后，对模型进行微调，将Lora和QLora微调后得到的结果与原模型merge后，可得到微调后的模型

Passi0nate
关注
书生大模型-L1-XTuner 微调个人小助手认知
weixin_46929467的博客
08-01 761
基础任务：使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，记录复现过程并截图。1.使用Anaconda创建一个名为xtuner0121的虚拟环境，可以直接执行命令。从 Github 上下载源码，进入源码目录，执行安装。（使用魔法科学上网）使用 InternLM 推出的1.8B的小模型来完成此次微调使用tree命令来观察目录结构这里我们用模型，通过QLoRA的方式来微调一个自己的小助手认知作为案例来进行：通过网页端的 Demo 来看看微调前的对话效果。运行。
书生大模型实战营--L1关卡-XTuner 微调个人小助手认知
cgq081616的专栏
08-03 170
一、为什么要做模型微调，有些场景下大模型无法更好的回答用户问题。准备工作详细参考，这里有很详细的介绍。三、微调模型后的回答，符合预期。二、准备模型以及训练语料。
书生模型实战L1---XTuner 微调个人小助手认知任务
早睡早起吧
08-19 600
第一章 入门岛L0（Linux）第二章 入门岛L0（python）第三章 入门岛L0（Git）第四章 基础岛L1（书生全链路开源介绍）第四章 基础岛L1（Demo）第四章 基础岛L1（Prompt）第四章 基础岛L1（RAG）第四章 基础岛L1（XTuner 微调）
【书生大模型实战】L1-XTuner 微调个人小助手认知任务
cjy_colorful0806的博客
08-02 583
当我们在测试完模型认为其满足我们的需求后，就可以对模型进行量化部署等操作了，这部分的内容在之后关于 LMDeploy 的课程中将会详细的进行讲解，敬请期待后续的课程吧！对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。比如我们这里微调的是书生·浦语的模型，我们就可以匹配搜索。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。
书生大模型实战营-第三期-L1-XTuner微调个人小助手认知
xidianwxm的专栏
08-09 603
下面我们将根据项目的需求一步步的进行修改和调整吧！在 PART 1 的部分，由于我们不再需要在 HuggingFace 上自动下载模型，因此我们先要更换模型的路径以及数据集的路径为我们本地的路径。为了训练过程中能够实时观察到模型的变化情况，XTuner 贴心的推出了一个。
书生实战营-L1-XTuner微调个人小助手认知
m0_52343470的博客
08-21 672
克隆Tutorial仓库的资料到本地# 创建虚拟环境 conda create -n xtuner0121 python=3.10 -y# 激活虚拟环境（注意：后续的所有操作都需要在这个虚拟环境中进行） conda activate xtuner0121# 安装一些必要的库 conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y # 安装其他依赖
书生大模型实战营（第三期）-L1：XTuner 微调个人小助手认知任务
qq_40384981的博客
08-24 996
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。模型进行指令微调，所以与我们的需求最匹配的配置文件是。
书生大模型实战营-基础关卡-5-XTuner 微调个人小助手认知
微风❤水墨
08-13 198
制作对话数据训练重新推理。
【书生大模型实战营】闯关作业-XTuner 微调个人小助手认知
钢之乐学的博客
09-26 850
书生大模型闯关作业-使用XTuner微调
大模型-书生训练营第三期闯关指南-linux
07-19
大模型-书生训练营第三期闯关指南-linux
书生·浦语大模型 - 基础岛 - 第3关 书生浦语提示词工程实践
08-10
书生·浦语大模型 - 基础岛 - 第3关 书生浦语提示词工程实践
《AI大模型应用》-书生·浦语大模型.zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了 ！！ XTuner 微调 Llama3 图片理解多模态
段智华的博客
04-23 162
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了！！XTuner 微调 Llama3 图片理解多模态LLaVA-Llama-3-8B 已由 XTuner 团队推出，相比于 LLaVA-1.5，能力全面提升！(欢迎 Star)(欢迎 Star)
统信服务器操作系统【Cron定时任务服务】
RZer的博客
09-23 1178
Cron定时任务服务服务介绍、服务管理、服务配置
IPEmotion 2024 R2现支持Amazon S3和Windows SMB服务器
WINDHILL风丘科技
09-27 305
新版IPEmotion 2024 R2软件推出了许多新功能，其中的一大功能是支持Amazon S3、Windows SMB服务器以及新的IPE-CAM-007 USB摄像头。IPEmotion 2024 R2还支持直接写入TEDS数据和配置可装载电池的新款IPE833记录仪。
服务器被挂马，导致网站首页被更改怎么解决
最新发布
KookeeyLena7的博客
09-27 674
当服务器被挂马并导致网站首页被篡改时，说明服务器或网站的安全性遭到破坏。
使用docker创建zabbix服务器
a15864923744的博客
09-20 806
这几个容器创建后是UP状态就可以使用浏览器尝试访问 http://宿主机IP:8080，期间遇到问题是MySQL容器使用mysql:9.0镜像总是出错，所以用了mysql:8.0。zabbix默认账号密码是：Admin/zabbix。#创建zabbix后端服务容器。#创建zabbix前端服务容器。#创建MySQL容器。
Linux常用命令
wang_san_sui_的博客
09-23 931
Linux 系统提供了大量的命令来管理系统和处理文件。：创建新文件或更新现有文件的时间戳。：报告文件系统的磁盘空间使用情况。：查看当前正在运行的进程的状态。：从排序好的文件中删除重复行。：显示系统中正在运行的进程。：安全地复制文件到远程机器。：打印当前工作目录的路径。：移动或重命名文件/目录。：更改文件或目录的所有者。：更改文件或目录的权限。：在文件系统中查找文件。：安全地登录到远程机器。：模式扫描和处理语言。：对文件内容进行排序。：查看文件的开始部分。：查看文件的结束部分。：检查磁盘使用情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值