第4课XTuner 完成个人小助手的微调！

最新推荐文章于 2024-08-19 18:33:44 发布
最新推荐文章于 2024-08-19 18:33:44 发布
阅读量230 收藏
点赞数 2
分类专栏： InternLM训练营实践记录 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44407313/article/details/138510793
版权

一、XTuner 完成个人小助手的微调！

1环境安装

2激活环境

3模型准备

4配置文件选择

5配置文件修改

6常规训练

7新建文件夹——模型转化

8模型整合

9与模型对话

二、webdemo部署

下载网页端 web demo 所需要的依赖。

替换webdemo.py文件

映射本地端口

无法打开网页，待解决

人工智能学习记录
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第四课 XTuner 微调个人小助手认知
soul_sniper的博客
07-22 954
通过折叠部分的修改，内容如下，可以直接将以下代码复制到。
第四课：【XTuner 微调个人小助手认知】笔记
qq_44407313的博客
04-19 857
q1:为什么要微调？A:目前现有模型都是基座模型，是为了一般性任务进行预训练，运用于实际特定领域效果不佳，需要进行领域内微调q2:两种Finetune范式：A2:增量预训练微调：基座模型学习新知识（文章、书籍、代码）指令跟随微调：模型学会对话模板，根据人类质量进行对话（高质量对话，问答数据）高质量标注原始数据——>改为标准格式数据——>添加对话模板——>Tokenized数据——>添加Label——>开始训练标准数据格式添加对话模板，不同厂家有不同的模板。
XTuner 微调个人小助手 第四课实战
weixin_62638966的博客
06-15 1808
1.XTuner简介傻瓜化：以配置文件的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调轻量化：对于7B参数的LLM，微调所需最小显存为8G：消费级显卡、colab多生态支持：XTuner支持HuggingFace和ModelScope的模型和数据集，提供了丰富的模型资源和数据集。硬件适配：支持NVIDIA 20系以上显卡，最低8GB显存即可运行，极大降低了硬件门槛。多种微调算法：包括LoRA、QLoRA等，可以根据具体需求选择最适合的微调算法。显存和计算优化。
第 4 节课作业-XTuner 微调个人小助手认知
weixin_46873533的博客
04-22 1034
通过折叠部分的修改，内容如下，可以直接将以下代码复制到。
XTuner微调个人小助手认知
Rocket,Qian的博客
08-12 233
XTuner微调个人小助手认知。
第四节 XTuner 微调个人小助手认知 笔记与作业
kding123的博客
04-15 1288
XTuner 的运行原理。
书生·浦语大模型实战营之XTuner 微调个人小助手认知
段智华的博客
04-12 1221
书生·浦语大模型实战营之XTuner 微调个人小助手认知在本节课中讲一步步带领大家体验如何利用 XTuner 完成个人小助手的微调！为了能够让大家更加快速的上手并看到微调前后对比的效果， 用 QLoRA 的方式来微调一个自己的小助手！可以通过下面两张图片来清楚的看到两者的对比。
XTuner 微调个人小助手认知学习笔记
Moo_n_earth的博客
06-03 1080
XTuner数据引擎数据处理流程：原始问答对——>格式化问答对——>可训练语料多数据样本拼接，增加并行性，充分利用GPU资源Flash Attention和DeepSpeed ZeRO是XTuner最重要的两个优化技巧：Flash Attention 将 Attention 计算并行化，避免了计算过程中 Attention Score NxN的显存占用（训练过程中的 N 都比较大）
基础岛-第五关 XTuner 微调个人小助手认知 笔记
晓飞趋势
08-11 1067
由 MMRazor 和 MMDeploy 联合开发。🤓 傻瓜化： 以 配置文件 的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。🍃 轻量级： 对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB ： 消费级显卡✅，colab✅xtuner 高阶教程LoRA（Low-Rank Adaptation）是一种使用低精度权重对大型预训练语言模型进行微调的技术，它的核心思想是在不改变原有模型权重的情况下，通过添加少量新参数来进行微调。
Android + SQLite 实现个人理财小助手
12-27
简单的Android开发，1. 使用 SQLite 数据库实现增加、删除、修改； 2. 使用 ListView进行显示； 3. 增加私密性，验证成功才能进行收支管理； ...4. 能提供简单的收支统计（按月、按周）功能；
四年级信息技术上册 第3课 网络浏览的小助手教案.doc
10-23
四年级信息技术上册 第3课 网络浏览的小助手教案.doc
基于Android的个人理财记账小助手app项目源码（95分以上课设）.zip
02-14
基于Android的个人理财记账小助手app项目源码（95分以上课设）.zip 代码完整下载即用确保可以运行，项目介绍如下： 基于android的个人理财记账小助手app，开发采用了增量式软件开发模型，采用轻量级数据库SQLite存储...
个人理财小助手
04-28
简单的Android开发，1. 使用 SQLite 数据库实现增加、删除、修改； 2. 使用 ListView进行显示； 3. 增加私密性，验证成功才能进行收支管理； 4. 能提供简单的收支统计（按月、按周）功能；
基于Android的个人理财小助手
04-15
本项目“基于Android的个人理财小助手”便是一个典型示例，适用于初学者理解和实践Android应用开发。 在Android应用开发中，我们首先需要了解的是Android Studio，这是Google官方提供的集成开发环境（IDE），它包含...
C/C++开发，opencv内置背景减除算法与运动检测
技术需要分享
08-14 1343
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
图像数据处理12
2301_80400361的博客
08-15 286
尽可能等于指定图像灰度值的。
Spark MLlib 特征工程(上)
08-14 5605
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
24 优化算法
最新发布
kaszxc的博客
08-19 233
深度学习模型大多是非凸的所以关于凸优化的很多理论无法使用小批量随机梯度下降是最常用的优化算法冲量对梯度做平滑冲量法是一个简单的稳定优化的算法Adam 对梯度做平滑，且对梯度各个维度值做重新调整通过实践发现，Adam 不一定比冲量法准确率高或者是收敛快，但是整体来讲 Adam 是比较稳定的，Adam 对学习率不那么敏感，使得调参相对来讲会更加容易一点范围之中（进行维度上的调整）分母中的 ε 的作用是保证分母不等于零。
公选课评价小助手：智能选课新体验
"鸭大公选选课小助手是一款针对大学公共选修课选择的小程序，旨在帮助学生更轻松地筛选、评估和选择适合自己的课程。它提供了丰富的课程信息、排序与筛选功能、用户评价系统、标签系统以及收藏功能，为学生提供了一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值