XTuner 微调个人小助手认知

最新推荐文章于 2024-09-04 15:10:09 发布
最新推荐文章于 2024-09-04 15:10:09 发布
阅读量141 收藏
点赞数 3
文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/inscredion/article/details/140881514
版权

XTuner 微调个人小助手认知

微调前的LM回答
在这里插入图片描述
加入了自定义的数据

在这里插入图片描述
训练了380iter，合并文件，重新部署web chat ui，回答就变了

在这里插入图片描述
可以看到，微调后回答明显变了，但是一直重复是什么鬼，还在研究中。

inscredion
关注
LLM - 使用 XTuner 指令微调 多模态大语言模型(InternVL2) 教程
Mystra
09-25 1280
XTuner 是高效、灵活且功能齐全的大语言模型和多模态模型微调工具，支持简单配置和轻量级运行，通过配置文件，封装大部分微调场景，降低微调的门槛，同时，支持多种预训练模型，如 InternVL 等，支持多种数据集格式，包括文本、图像或视频等。
大模型自我认知微调的实战教程
热门推荐
herosunly的博客
12-30 4万+
本文主要介绍了大模型自我认知微调的实战教程，希望对学习大语言模型的同学们有所帮助。微调成功并保留原有能力的截图如下所示： 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 实战代码 3.1 配置数据集 3.2 lora微调
XTuner微调个人小助手认知
qq_34719225的博客
07-28 438
表示模式匹配，后面跟着的内容将会在所有的配置文件里进行模糊匹配搜索，然后返回最有可能得内容。比如我们这里微调的是书生·浦语的模型，我们就可以匹配搜索。修改配置文件，打开internlm2_chat_1_8b_qlora_alpaca_e3_copy.py，修改了以下几个部分。如果自己想要微调的模型在开发机中没找到，也可以自己下载相关模型文件。在我们的输入的这个命令中，我们的。的方式来微调一个自己的小助手认知作为案例来进行演示。命令用于复制一个内置的配置文件。对应的是上面搜索到的。其他问题明显是正常的。
XTuner 微调个人小助手认知任务
qq_42427964的博客
09-04 690
微调前。
书生·浦语大模型实战营之XTuner 微调个人小助手认知
段智华的博客
04-12 1309
书生·浦语大模型实战营之XTuner 微调个人小助手认知在本节课中讲一步步带领大家体验如何利用 XTuner 完成个人小助手的微调！为了能够让大家更加快速的上手并看到微调前后对比的效果， 用 QLoRA 的方式来微调一个自己的小助手！可以通过下面两张图片来清楚的看到两者的对比。
「浦语大模型四」Xtuner微调实战
ljn20001229的博客
01-21 595
Xtuner接受jsonl格式的数据，所以我们在实际微调时，常常将文本数据转化成相应的格式进行微调，这里利用chatgpt工具帮我们写python脚本进行数据格式转换，将原xlsx格式转换为我们需要的格式再进行上述操作结果展示。
XTuner微调LLM：1.8B，多模态和Agent
2401_83218582的博客
04-19 746
这意味着，当我们访问 /root/ft/model 时，实际上就是在访问 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 目录下的内容。执行上述操作后，/root/ft/model 将直接成为一个符号链接，这个链接指向 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 的位置。准备好的配置文件只要运行起来就代表着模型就开始训练或者微调了。
使用XTuner微调与部署大型语言模型
qq_56997043的博客
04-19 367
XTuner作为一个强大的工具，它提供了一套完整的解决方案，从模型的微调到部署，都能提供强大的支持。以InternLM2 1.8B模型为例，我们准备了一份关于模型认识自己身份的数据集，并选择了InternLM2-chat-1.8B模型进行微调。通过配置文件的设置，我们可以针对不同的任务进行定制化的微调，并最终实现模型的高效部署。XTuner提供了模型整合的指令，允许用户将训练好的adapter层与原模型进行整合，形成最终的模型。## **模型转换与整合**### **模型整合**## **微调简介**
pocketsphinx-0.1.15-cp34-cp34m-win32.whl.rar
11-17
python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。
【java毕业设计】书画拍卖网站源码（ssm+mysql+说明文档）.zip
11-17
环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7及以上 数据库工具：Navicat11及以上 开发软件：eclipse/idea Maven包：Maven3.3及以上 服务器：tomcat7及以上
【java毕业设计】“星辰”旅行分享系统源码（ssm+mysql+说明文档）.zip
11-17
环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7及以上 数据库工具：Navicat11及以上 开发软件：eclipse/idea Maven包：Maven3.3及以上 服务器：tomcat7及以上
Pillow-9.1.1-cp38-cp38-win_amd64.whl.rar
11-17
python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。
pocketsphinx-0.1.15-cp36-cp36m-win_amd64.whl.rar
11-17
python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。
HUAWEI iMaster NCE ²úÆ·²ÊÒ³_V100R019C00 01.pdf
最新发布
11-17
HUAWEI iMaster NCE ²úÆ·²ÊÒ³_V100R019C00 01.pdf
Pillow_SIMD-9.0.0.post0-cp37-cp37m-win32.whl.rar
11-17
python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。
【java毕业设计】家用电器销售网站源码（ssm+mysql+说明文档+LW）.zip
11-17
功能说明： 设计开发了具有管理员；个人中心、用户管理、商品分类管理、品牌管理、商品信息管理、订单评价管理、留言板管理、系统管理、订单管理，用户；个人中心、订单评价管理、我的收藏管理、订单管理，前台首页；首页、商品信息、商品资讯、留言反馈、我的、跳转到后台、购物车等功能的家用电器销售网站。 环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7及以上 数据库工具：Navicat11及以上 开发软件：eclipse/idea Maven包：Maven3.3及以上 服务器：tomcat7及以上
中国2012-2022年各地区新质生产力水平测算数据（王珏版）【重磅，更新！】
11-17
1、资源内容地址：https://blog.csdn.net/abc6838/article/details/143838732 2、数据特点：今年全新，手工精心整理，放心引用，数据来自权威，且标注《数据来源》，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 4、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理
preshed-3.0.2-cp35-cp35m-win_amd64.whl.rar
11-17
python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。
XTuner大模型微调
06-28
XTuner是一个专为深度学习模型微调设计的工具或框架，它可能用于优化模型性能，特别是针对特定任务或数据集进行个性化调整。微调（Fine-tuning）是指在一个预训练模型的基础上，使用新的、特定领域的数据对其进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值