XTuner微调个人小助手认知

最新推荐文章于 2024-11-01 15:27:42 发布
最新推荐文章于 2024-11-01 15:27:42 发布
阅读量110 收藏
点赞数 3
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qpj297/article/details/140891711
版权

安装环境

测试正常模型的效果

模型并不认识我

开始微调

生成数据集

修改微调配置文件

开始训练

训练完成

模型转换

模型合并

测试模型

奇葩菌2333
关注
LLM - 使用 XTuner 指令微调 多模态大语言模型(InternVL2) 教程
Mystra
09-25 1229
XTuner 是高效、灵活且功能齐全的大语言模型和多模态模型微调工具，支持简单配置和轻量级运行，通过配置文件，封装大部分微调场景，降低微调的门槛，同时，支持多种预训练模型，如 InternVL 等，支持多种数据集格式，包括文本、图像或视频等。
大模型自我认知微调的实战教程
热门推荐
herosunly的博客
12-30 4万+
本文主要介绍了大模型自我认知微调的实战教程，希望对学习大语言模型的同学们有所帮助。微调成功并保留原有能力的截图如下所示： 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 实战代码 3.1 配置数据集 3.2 lora微调
XTuner 微调个人小助手认知任务
qq_42427964的博客
09-04 678
微调前。
书生·浦语大模型实战营之XTuner 微调个人小助手认知
段智华的博客
04-12 1302
书生·浦语大模型实战营之XTuner 微调个人小助手认知在本节课中讲一步步带领大家体验如何利用 XTuner 完成个人小助手的微调！为了能够让大家更加快速的上手并看到微调前后对比的效果， 用 QLoRA 的方式来微调一个自己的小助手！可以通过下面两张图片来清楚的看到两者的对比。
XTuner 微调个人小助手认知
m0_70461552的博客
08-29 692
在 “创建开发机” 界面，选择开发机类型：个人开发机，输入开发机名称：XTuner微调，选择开发机镜像：Cuda12.2-conda。进入开发机之后，请确保自己已经克隆了Tutorial仓库的资料到本地。在安装 XTuner 之前，我们需要先创建一个虚拟环境。虚拟环境创建完成后，就可以安装 XTuner 了。首先，从 Github 上下载源码。最后，我们可以验证一下安装结果。软件安装好后，我们就可以准备要微调的模型了。
【笔记四】XTuner 微调个人小助手认知
qq_34719225的博客
06-11 1553
在本节中主要就是跑通了 XTuner 的一个完整流程，通过了解数据集和模型的使用方法、配置文件的制作和训练以及最后的转换及整合。
「浦语大模型四」Xtuner微调实战
ljn20001229的博客
01-21 583
Xtuner接受jsonl格式的数据，所以我们在实际微调时，常常将文本数据转化成相应的格式进行微调，这里利用chatgpt工具帮我们写python脚本进行数据格式转换，将原xlsx格式转换为我们需要的格式再进行上述操作结果展示。
XTuner微调LLM：1.8B，多模态和Agent
2401_83218582的博客
04-19 733
这意味着，当我们访问 /root/ft/model 时，实际上就是在访问 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 目录下的内容。执行上述操作后，/root/ft/model 将直接成为一个符号链接，这个链接指向 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 的位置。准备好的配置文件只要运行起来就代表着模型就开始训练或者微调了。
使用XTuner微调与部署大型语言模型
qq_56997043的博客
04-19 353
XTuner作为一个强大的工具，它提供了一套完整的解决方案，从模型的微调到部署，都能提供强大的支持。以InternLM2 1.8B模型为例，我们准备了一份关于模型认识自己身份的数据集，并选择了InternLM2-chat-1.8B模型进行微调。通过配置文件的设置，我们可以针对不同的任务进行定制化的微调，并最终实现模型的高效部署。XTuner提供了模型整合的指令，允许用户将训练好的adapter层与原模型进行整合，形成最终的模型。## **模型转换与整合**### **模型整合**## **微调简介**
Python轴承故障诊断 (15)基于CNN-Transformer的一维故障信号识别模型
10-28 902
本文基于凯斯西储大学（CWRU）轴承数据，先经过数据预处理进行数据集的制作和加载，最后通过Pytorch实现CNN-Transformer模型对故障数据的分类。
【果实种子识别】Python+深度学习+人工智能+CNN卷积神经网络算法+TensorFlow+算法模型训练
最新发布
2301_78372746的博客
11-01 269
果实种子识别系统，使用Python语言进行开发，通过TensorFlow搭建卷积神经网络算法模型，对10种坚果果实（‘杏仁’, ‘巴西坚果’, ‘腰果’, ‘椰子’, ‘榛子’, ‘夏威夷果’, ‘山核桃’, ‘松子’, ‘开心果’, ‘核桃’）等图片数据集进行训练，得到一个识别精度较高的模型文件，让后使用Django搭建Web网页端界面操作平台，实现用户上传一张坚果图片 识别其名称。
《Keras3 深度学习初探：开启Keras3 深度学习之旅》
zheng_ruiguo的专栏
11-01 465
Keras3 以其易于使用、模块化和高度可扩展性等特点，为深度学习开发者提供了强大而灵活的工具。无论是新手还是经验丰富的专家，都能在 Keras3 中找到适合自己的开发方式，实现创新和突破。Keras3 作为一个强大的深度学习框架，具有巨大的发展潜力。在未来，它将继续为深度学习开发者提供强大的工具，推动深度学习技术的不断发展和应用。
现代卷积神经网络(GoogLeNet+批量归一化+ResNet)
m0_63276919的博客
10-29 955
Inception块相当于一个有4条路径的子网络。它通过不同窗口形状的卷积层和最大池化层来并行抽取信息，并使用**1×11×11×1卷积层减少每像素级别上的通道维数**从而降低模型复杂度。GoogLeNet将多个设计精细的Inception块与其他层（卷积层、全连接层）串联起来。其中Inception块的通道数分配之比是在ImageNet数据集上通过大量的实验得来的。GoogLeNet和它的后继者们一度是ImageNet上最有效的模型之一：它以较低的计算复杂度提供了类似的测试精度。
基于深度学习的路径优化与车辆调度
weixin_42605076的博客
10-28 778
基于深度学习的路径优化与车辆调度技术正不断发展，成为智能交通和物流管理的重要支撑。随着数据处理能力的提升和模型的不断改进，这一领域将为实现更高效的交通系统、提升城市运行效率提供有力的支持。通过解决当前的技术挑战和探索新的发展方向，未来的路径优化与车辆调度将更加智能化、个性化和高效。
引入了窥视孔连接（peephole connections）的LSTM
m0_73640344的博客
10-29 495
通过引入窥视孔连接，LSTM能够更加精确地控制信息流，因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能，尤其是在需要精细控制内部状态记忆的应用中，如复杂的序列预测和模式识别任务，也提高了决策过程的透明度和直观性。
深度学习：梯度下降算法简介
m0_73640344的博客
10-29 1180
在深度学习的训练过程中，梯度下降算法（Gradient Descent，简称GD）扮演着至关重要的角色。这一算法的核心机制是利用数据集的梯度信息来迭代更新模型参数，以最小化损失函数。接下来，我们将详细讨论其各种变体和进化。1. 随机梯度下降（SGD）由于全批量的梯度下降在面对大规模数据集时会受到内存限制和迭代速度的制约，学者们提出了随机梯度下降（Stochastic Gradient Descent，SGD）。这种方法每次迭代仅使用数据集中的一个小批量样本来计算梯度和更新参数。
【征程 6 工具链性能分析与优化-1】编译器预估 perf 解读与性能分析
地平线开发者
10-30 861
这篇文章中，我们将首先介绍layerdetails中的参数信息，然后将结合实例分析如何利用layerdetails来分析模型的性能瓶颈，进而对模型的性能进行优化。
AI-基本概念-多层感知器模型/CNN/RNN/自注意力模型
深度安全实验室
10-28 717
AI-基本概念-多层感知器模型/CNN/RNN/自注意力模型
XTuner大模型微调
06-28
XTuner是一个专为深度学习模型微调设计的工具或框架，它可能用于优化模型性能，特别是针对特定任务或数据集进行个性化调整。微调（Fine-tuning）是指在一个预训练模型的基础上，使用新的、特定领域的数据对其进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值