书生L1利用XTuner微调

最新推荐文章于 2025-04-08 08:39:57 发布
最新推荐文章于 2025-04-08 08:39:57 发布
阅读量186 收藏
点赞数 3
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19886175/article/details/142334132
版权

看下微调前的效果：
在这里插入图片描述开始微调训练：
在这里插入图片描述训练结束后的文件内容如下：
在这里插入图片描述
把pth模型转为huggingface格式
在这里插入图片描述最后在把merge，结果如下：
在这里插入图片描述

这是微调后的结果。在这里插入图片描述

qq_19886175
关注
书生基础5L1-XTuner 微调个人小助手认知
2301_78443770的博客
12-05 845
使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知，如下图所示（图中的需替换成自己的昵称），记录复现过程并截图。
L1G5000 XTuner 微调实践微调
cq99312254的博客
11-15 883
1.1 使用 conda 先构建一个 Python-3.10 的虚拟环境xtuner,并克隆源码1.2安装 XTuner表示在可编辑模式下安装项目，因此对代码所做的任何本地修改都会生效。
【书生大模型实战】L1-XTuner 微调个人小助手认知任务
cjy_colorful0806的博客
08-02 679
当我们在测试完模型认为其满足我们的需求后，就可以对模型进行量化部署等操作了，这部分的内容在之后关于 LMDeploy 的课程中将会详细的进行讲解，敬请期待后续的课程吧！对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。比如我们这里微调的是书生·浦语的模型，我们就可以匹配搜索。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。
L1 - Xtuner微调自我认知模型
2301_76609297的博客
08-09 894
任务说明：使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知。
书生大模型-L1-XTuner 微调个人小助手认知
weixin_46929467的博客
08-01 818
基础任务：使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，记录复现过程并截图。1.使用Anaconda创建一个名为xtuner0121的虚拟环境，可以直接执行命令。从 Github 上下载源码，进入源码目录，执行安装。（使用魔法科学上网）使用 InternLM 推出的1.8B的小模型来完成此次微调使用tree命令来观察目录结构这里我们用模型，通过QLoRA的方式来微调一个自己的小助手认知作为案例来进行：通过网页端的 Demo 来看看微调前的对话效果。运行。
书生大模型实战（从入门到进阶）L1-XTuner 微调个人小助手认知
m0_73672030的博客
09-25 1154
本文是对书生大模型L1-XTuner 微调个人小助手认知部分的学习和实现
书生大模型：L1G5000 XTuner 微调个人小助手认知
qq_46268149的博客
12-22 171
记录复现过程并截图。
书生实战营-L1-XTuner微调个人小助手认知
m0_52343470的博客
08-21 729
克隆Tutorial仓库的资料到本地# 创建虚拟环境 conda create -n xtuner0121 python=3.10 -y# 激活虚拟环境（注意：后续的所有操作都需要在这个虚拟环境中进行） conda activate xtuner0121# 安装一些必要的库 conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y # 安装其他依赖
L1G5000 XTuner 微调个人小助手认知
m0_64954951的博客
12-05 305
按照步骤来即可，但注意，csdn上的文章可能只有下面第一行，这是因为他们的开发机已经装过cuda版本的torch了，来安装xtuner自带的torch不是cuda版本的，这回导致后面训练无法进行。因此，安装cuda版本的torch是必要的，不过transformers库可以不用另外安装了，xtuner依赖的就可以。
书生大模型实战营第四期L1G5000（XTuner 微调个人小助手认知）
stinkypudding的博客
11-10 1087
微调的作用是让预训练的大模型能够适应下游任务。这里仅作简单介绍，相关的算法如SFT, DPO等不是本文重点。本文在做微调的时候主要用的是LoRA以及QLoRA，这一系列算法基于一个观察：模型全参数可以用一个低秩的矩阵替换，好处是使用的资源显著减少。LoRAQLoRAXTuner 文档链接：XTuner-doc-cn首先使用 conda 先构建一个 Python-3.10 的虚拟环境。然后安装 XTuner。为了验证 XTuner 是否安装正确，我们将使用命令打印配置文件。安装成功！创建一个新的文件夹用于存储
书生大模型实战L1G5000-XTuner 微调
qq_60666264的博客
11-21 336
XTuner 微调 InternLM 个人小助手认知实践_哔哩哔哩_bilibili。对于数据可以利用自己的数据集，但是注意格式！打开对应网址即可，初始打开需要加载。1.准备阶段：安装 XTuner。5.如下所示微调进行ing。8.模型 WebUI 对话。注意：选择正确的文件。
书生大模型实战营L1G5XTuner 微调实践微调
sxrrxs的博客
11-14 712
微调完成后，我们可以再次运行 xtuner_streamlit_demo.py 脚本来观察微调后的对话效果，不过在运行之前，我们需要将脚本中的模型路径修改为微调后的模型的路径。本模型位于/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat。然后修改如下： 打开 change_script.py ，修改 --new_text 中 default=“机智流” 为名字。运行后，确保端口映射正常，如果映射已断开则需要重新做一次端口映射。
XTuner微调个人小助手认知 #书生浦语大模型实战营#
fzyz123的博客
08-26 1305
本次的任务是使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，从而让模型能够个性化的回复，让模型知道他是我们的小助手，在实战营帮我们完成XTuner微调个人小助手认知的任务。并截图打卡。微调前，模型的回复比较通用。微调后，模型可以有个性化的回复啦。
PDF 中提取数学公式
活到老、学到老
04-07 451
你如果用 Python 的话，只需要运行。这样你能直接把所有 LaTeX 结果写入。免费额度有限，每天10~20张图。拍照或拖图片即可生成 LaTeX。只适合展示，不适合识别。
用Python构建去中心化广告平台——区块链驱动的未来营销新模式
Echo_Wish
04-07 686
用户隐私泄露、广告投放的黑箱操作、中心化平台的过度控制，使得广告生态亟需去中心化的变革。去中心化广告不仅让广告商掌控自己的预算，也让用户能从观看广告中获益，最终实现更健康的广告经济。同时，可以修改广告状态，使广告下架或重新激活。让广告交易透明化，广告商与用户直接互动，从而优化广告投放体验。构建一个去中心化广告平台，让广告市场更加透明、公平、高效。，避免中心化服务器的宕机风险，同时保证内容不被随意修改。让用户观看广告后获得奖励，提高广告互动率。，这些都是未来广告去中心化发展的方向。
魔改chromium源码——绕过无限debugger反调试
weixin_45307278的博客
04-04 794
这种技术的核心是利用 JavaScript 的 debugger 语句，当开发者工具打开时，debugger 会触发断点，从而阻止代码继续执行。在了解实现原理后，我们现在的思路是让 debugger 关键字像 JavaScript 中的其他独立关键字一样，无需特定上下文即可单独执行。经过验证可以发现，运行 debugger 语句的效果与返回 null 是等价的。这些关键字在 JavaScript 中具有独立的意义和用途，我们的目标是使 debugger 关键字也能以类似的方式运行。
人脸考勤管理一体化系统（人脸识别系统，签到打卡）
JerryBro的博客
04-06 1416
本项目是基于Flask、SQLAlchemy、face_recognition库的人脸考勤管理一体化系统。系统通过人脸识别技术实现员工考勤打卡、人脸信息采集、人脸模型训练等功能。项目采用前后端分离的技术框架，基于Flask轻量级Web框架搭建后端服务，结合HTML/CSS/JavaScript实现前端用户界面。
第100+38步 ChatGPT学习：R实现RF SHAP
最新发布
Jet4505的博客
04-08 812
第100+38步 ChatGPT学习：R实现RF SHAP
31天Python入门——第25天:文件和目录操作
安然无虞的博客
04-05 1107
运行之后会在当前目录下面创建 tmp 目录, 在 tmp目录下面创建 python 目录, 在 python 目录下面创建 fileop 目录.我们要拷贝一个目录里面所有的内容 (包括子目录和文件, 子目录里面的子目录和文件等) 到另外一个目录中, 可以使用 shutil 模块的。注意: 参数 ignore_errors 值设置为 True, 表示忽略删除过程中的错误 (比如要删除的目录不存在), 不会抛出异常.假如我们要获取某个目录中所有的 文件， 包括子目录里面的文件. 可以使用 os库中的。
书生阅读器套装完全安装包
- 完成安装后，用户即可利用书生阅读器套装的阅读和写作功能，根据个人需求创建和编辑文档。 4. 软件维护和更新: - 为了保持软件的正常运行和安全性，用户需要定期检查并安装软件更新。 - 书生阅读器套装可能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值