学习并实践XTuner微调个人小助手认知

最新推荐文章于 2024-11-10 13:43:20 发布
最新推荐文章于 2024-11-10 13:43:20 发布
阅读量160 收藏
点赞数 3
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62780581/article/details/141058512
版权

访问 Shanghai_AI_Laboratory/internlm2-chat-1_8b 时，实际上就是在访问 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 目录下的内容。通过这种方式，我们无需复制任何数据，就可以直接利用现有的模型文件进行后续的微调操作，从而节省存储空间并简化文件管理。

微调前的模型对话：

指令跟随微调：

模型被转换为 HuggingFace 中常用的 .bin 格式文件

模型合并

微调后的模型对话：

纵我不往，子宁不嗣音195
关注
大模型自我认知微调的实战教程
herosunly的博客
12-30 4万+
本文主要介绍了大模型自我认知微调的实战教程，希望对学习大语言模型的同学们有所帮助。微调成功并保留原有能力的截图如下所示： 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 实战代码 3.1 配置数据集 3.2 lora微调
XTuner微调个人小助手认知
qq_34719225的博客
07-28 434
表示模式匹配，后面跟着的内容将会在所有的配置文件里进行模糊匹配搜索，然后返回最有可能得内容。比如我们这里微调的是书生·浦语的模型，我们就可以匹配搜索。修改配置文件，打开internlm2_chat_1_8b_qlora_alpaca_e3_copy.py，修改了以下几个部分。如果自己想要微调的模型在开发机中没找到，也可以自己下载相关模型文件。在我们的输入的这个命令中，我们的。的方式来微调一个自己的小助手认知作为案例来进行演示。命令用于复制一个内置的配置文件。对应的是上面搜索到的。其他问题明显是正常的。
XTuner 微调个人小助手认知任务
qq_42427964的博客
09-04 684
微调前。
XTuner 微调个人小助手认知学习笔记
Moo_n_earth的博客
06-03 1174
XTuner数据引擎数据处理流程：原始问答对——>格式化问答对——>可训练语料多数据样本拼接，增加并行性，充分利用GPU资源Flash Attention和DeepSpeed ZeRO是XTuner最重要的两个优化技巧：Flash Attention 将 Attention 计算并行化，避免了计算过程中 Attention Score NxN的显存占用（训练过程中的 N 都比较大）
XTuner 微调个人小助手认知
m0_70461552的博客
08-29 703
在 “创建开发机” 界面，选择开发机类型：个人开发机，输入开发机名称：XTuner微调，选择开发机镜像：Cuda12.2-conda。进入开发机之后，请确保自己已经克隆了Tutorial仓库的资料到本地。在安装 XTuner 之前，我们需要先创建一个虚拟环境。虚拟环境创建完成后，就可以安装 XTuner 了。首先，从 Github 上下载源码。最后，我们可以验证一下安装结果。软件安装好后，我们就可以准备要微调的模型了。
书生·浦语大模型实战营之XTuner 微调个人小助手认知
段智华的博客
04-12 1306
书生·浦语大模型实战营之XTuner 微调个人小助手认知在本节课中讲一步步带领大家体验如何利用 XTuner 完成个人小助手的微调！为了能够让大家更加快速的上手并看到微调前后对比的效果， 用 QLoRA 的方式来微调一个自己的小助手！可以通过下面两张图片来清楚的看到两者的对比。
XTuner微调个人小助手认知（学习笔记）
weixin_49463617的博客
08-17 998
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。#模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件。# 创建一个目录，用来存放微调的所有资料，后续的所有操作都在该路径中进行。# 激活虚拟环境（注意：后续的所有操作都需要在这个虚拟环境中进行）# 先获取最后保存的一个pth文件。# 创建一个目录，用来存放源代码。
XTuner微调个人小助手认知-学习
weixin_44263395的博客
08-31 229
在这里插入图片描述。
「浦语大模型四」Xtuner微调实战
ljn20001229的博客
01-21 589
Xtuner接受jsonl格式的数据，所以我们在实际微调时，常常将文本数据转化成相应的格式进行微调，这里利用chatgpt工具帮我们写python脚本进行数据格式转换，将原xlsx格式转换为我们需要的格式再进行上述操作结果展示。
XTuner微调LLM：1.8B，多模态和Agent
2401_83218582的博客
04-19 742
这意味着，当我们访问 /root/ft/model 时，实际上就是在访问 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 目录下的内容。执行上述操作后，/root/ft/model 将直接成为一个符号链接，这个链接指向 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 的位置。准备好的配置文件只要运行起来就代表着模型就开始训练或者微调了。
LLM - 使用 XTuner 指令微调 多模态大语言模型(InternVL2) 教程
Mystra
09-25 1256
XTuner 是高效、灵活且功能齐全的大语言模型和多模态模型微调工具，支持简单配置和轻量级运行，通过配置文件，封装大部分微调场景，降低微调的门槛，同时，支持多种预训练模型，如 InternVL 等，支持多种数据集格式，包括文本、图像或视频等。
使用XTuner微调与部署大型语言模型
qq_56997043的博客
04-19 359
XTuner作为一个强大的工具，它提供了一套完整的解决方案，从模型的微调到部署，都能提供强大的支持。以InternLM2 1.8B模型为例，我们准备了一份关于模型认识自己身份的数据集，并选择了InternLM2-chat-1.8B模型进行微调。通过配置文件的设置，我们可以针对不同的任务进行定制化的微调，并最终实现模型的高效部署。XTuner提供了模型整合的指令，允许用户将训练好的adapter层与原模型进行整合，形成最终的模型。## **模型转换与整合**### **模型整合**## **微调简介**
【python GUI编码入门-21】如何用Tkinter创建一个记事本应用
木头大左的博客
11-08 46
在现代编程环境中，图形用户界面（GUI）应用程序的开发变得越来越重要。Python的Tkinter库是一个功能强大且易于使用的GUI工具包，非常适合初学者和有经验的开发者使用。本文将详细介绍如何使用Tkinter创建一个简易的记事本应用，涵盖从安装到实现各项功能的全过程。Tkinter是Python的标准GUI库，它提供了丰富的接口来创建窗口、对话框、按钮等常见的GUI组件。Tkinter具有良好的跨平台性，可以在Windows、Mac OS和Linux上运行。
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 407
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
推荐一款管道数据检索工具：Pipedata-Pro
11-09 340
是一款专为设计石油、天然气、水和蒸汽管道及管道系统的工程师开发的应用程序。该应用程序提供了设计管道系统所需的工程数据，拥有一个全面的管道类型、配件和材料。
2024年华为OD机试真题-查找充电设备-C++-OD统一考试（E卷）
面试高手的博客
11-08 214
某个充电站，可提供n个充电设备只，每个充电设备均有对应的输出功率任意个充电设备组合的输出功率总和，均构成功率集合P的1个元素功率集合P的最优元素，表示最接近充电站最大输出功率pmax 的元素。每一题都含有详细的解题思路和代码注释，精编c++、JAVA、Python三种语言解法。当充电设备输出功率50、20、20组合时，其输出功率总和为90，最接近充电站最大充电输出功率，因此最优元素为90。所有充电设备的输出功率组合，均大于充电站最大充电输出功率30，此时最优元素值为0。第 2 行为每个充电设备的输出功率。
大模型落地之ollama控制设备
weixin_44772948的博客
11-10 38
本地环境：ollama3.2（理论上ollama3.1以上就支持tool功能，但是笔者没有试过）(PS:不足点，在输入不是控制指令的相关问题时，大概率也会调用工具，需要后续调优）
Golang--文件操作
cookies_s_的博客
11-07 413
文件操作
逐行加载 HTML 内容并实时显示效果：使用 wxPython 的实现
最新发布
Winfredzhang的博客
11-10 438
self.lines = [] # 用于存储HTML文件的行内容self.line_index = 0 # 当前行的索引self.timer = wx.Timer(self) # 创建定时器self.Bind(wx.EVT_TIMER, self.OnTimer, self.timer) # 绑定定时器事件定义self.lines用于存储 HTML 文件的行，表示当前行索引，self.timer为定时器，用于逐行加载 HTML 内容。事件绑定到OnTimer方法。本文演示了如何使用wxPython。
迁移学习：ResNet模型在椅子识别中的微调实践
"L23模型微调finetuning，涉及ResNet18模型，以及ImageNet数据集的使用，探讨了微调作为迁移学习的一种方法，用于处理中等规模数据集的问题。" 在深度学习领域，微调是迁移学习的一个重要策略，尤其在面对数据集...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值