书生大模型实战营基础岛 - XTuner微调个人小助手认知

最新推荐文章于 2024-09-15 22:31:42 发布
最新推荐文章于 2024-09-15 22:31:42 发布
阅读量131 收藏
点赞数 1
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/J_M_Kirito/article/details/141104055
版权

任务描述 

 使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知

实现步骤

这一节的官方文档https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner写的很详细没有任何坑点，除了配环境会稍慢一些，主要过程如下：

如图所示，微调之前大模型并不知道自己是谁
目录配置
这个是基于mmengine的微调过程，需要耐心等待一下
微调后需要合并一下模型权重
可以看到，微调后模型终于明确了自己的弟位

 

J_M_Kirito
关注
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了 ！！ XTuner 微调 Llama3 图片理解多模态
段智华的博客
04-23 145
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了！！XTuner 微调 Llama3 图片理解多模态LLaVA-Llama-3-8B 已由 XTuner 团队推出，相比于 LLaVA-1.5，能力全面提升！(欢迎 Star)(欢迎 Star)
书生·浦语大模型实战营之微调 Llama 3 实践与教程 （XTuner 版）
段智华的博客
04-22 265
书生·浦语大模型实战营之微调 Llama 3 实践与教程 （XTuner 版）Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，XTuner 团队对 Llama 3 微调进行了光速支持！！！开源同时社区中涌现了 Llama3-XTuner-CN 手把手教大家使用 XTuner 微调 Llama 3 模型。
书生大模型实战营-基础关-XTuner 微调个人小助手认知
greatwind的博客
08-14 261
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。的目录，里面存有训练过程中的日志，以及训练后的权重。训练结束后，会在工作目录下得到一个。
书生大模型实战营3期 - 基础岛 - 5 - XTuner 微调个人小助手认知
wocsdn111的博客
07-25 164
【代码】书生大模型实战营3期 - 基础岛 - 2 - XTuner 微调个人小助手认知。
书生大模型-基础岛5-XTuner 微调个人小助手认知
WongChiang的博客
08-27 428
这里可以直接复制一份教程准备好的配置文件，记得阅读下修改内容，保证路径`pretrained_model_name_or_path`正确。这里用时比较久，700+个iteration，使用10%的A100花费约5-6小时。此记录省略开发机conda环境、依赖库安装过程。转换为huggingface支持的格式。
8.22 书生大模型实战营-基础岛5 - XTuner 微调个人小助手认知作业
zjzjsuus的博客
08-22 651
LoRA（Low-Rank Adaptation）是一种使用低精度权重对大型预训练语言模型进行微调的技术，它的核心思想是在不改变原有模型权重的情况下，通过添加少量新参数来进行微调。这种方法降低了模型的存储需求，也降低了计算成本，实现了对大模型的快速适应，同时保持了模型性能。然而，由于使用了低精度权重，LoRA的一个潜在的缺点是在微调过程中可能会丢失一些原始模型的高阶特征信息，因此可能会降低模型的准确性。
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生·浦语大模型 - 基础岛 - 第3关 书生浦语提示词工程实践
08-10
书生·浦语大模型 - 基础岛 - 第3关 书生浦语提示词工程实践
书生大模型实战营第三关浦语提示词工程实践
08-09
书生大模型实战营第三关浦语提示词工程实践
Python世界：力扣29题两数相除算法实践
来知晓的博客
09-13 370
除法运算本质是减法，从理解原理到真正实现还是有距离，建议初步理解后，不参考任何代码，完全自己复现一遍，体会更深。注意提示：目的就是提醒越界问题：-2^31/-1=2&31，超过了整数表达范围。本问题来自于力扣29题，在做完大数相乘后，顺带也看下两数相除。将两数相除，要求不使用乘法、除法和 mod 运算符。给定两个整数，被除数。
Python办公自动化案例（二）：对比两个Excel数据内容并标出不同
衍生星球的博客
09-14 326
在数据处理和分析的日常工作中，我们经常需要比较两个Excel文件的差异。这可能是为了验证数据的一致性、检查数据的准确性，或者在版本控制中追踪更改。手动比较这些文件不仅耗时，而且容易出错。幸运的是，Python的openpyxl库提供了一种自动化这一过程的方法。
Tcl lnit error: Can’t find a usable init.tcl in the following directories 问题解决
最新发布
梦想闹钟
09-15 270
实际研究后发现，其实py2exe已经把打包需要的lib放在dist文件夹下了，但是打包后的程序运行后却没有去lib下找，而是去找系统自带的环境变量里找，所以找不到。这个问题出现在我用py2exe打包了一个包含tkinter的图形化界面，在当前电脑上运行无问题，在移动到新电脑上后提示报错、getcwd用于获取当前工作目录绝对路径，在设置环境的变量的时候它用的是绝对路径-所以也导致了在当前电脑上能用而移动后不能用。解决方法是在你的程序里重新设置下环境变量，而且是用相对路径的形式。
JUC从实战到源码：中断机制与API实现
qq_43843951的博客
09-12 1135
在Java中，线程中断是一种机制，用于通知线程应该停止当前正在执行的任务。中断通常用于协同线程之间的合作，以便让线程在适当的时候终止其工作，尤其是在长时间运行的任务或阻塞操作中。通过学了多线程以及synchronized的相关知识，接下来就到了学习线程中断知识。
面试真题 | web自动化关闭浏览器，quit()和close()的区别
NHB234567的博客
09-13 311
关闭所有的浏览器窗口，销毁driver操作，则需要使用的是quit方法；当打开了多个窗口，只想要关闭非最后一个窗口的时候，使用的是close方法。这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！close():只关闭当前的浏览器标签页，如果当前浏览器标签页剩下最后一个，则所有标签页面退出。是否编写过对应浏览器退出的测试用例。quit():所有的浏览器窗口退出。关闭当前的标签页，其他窗口不退出。退出当前所有的窗口；
Python——俄罗斯方块
2302_81225694的博客
09-14 822
这段代码使用了Pygame库来实现游戏的图形界面，通过键盘控制方块的移动和旋转。游戏循环不断更新方块的位置和网格状态，并绘制在屏幕上。在方块达到底部或无法继续移动时，判断是否有满行，并清除满行的方块。游戏会根据方块的状态和移动情况不断更新，直到无法继续下落为止，游戏结束。俄罗斯方块游戏是一款经典的益智游戏，通常使用编程语言Python来实现。请注意，这只是一个简单的示例，可能还有一些功能和优化方面的改进。您可以根据自己的需求进行修改和扩展。
JIT编译器
Flying_Fish_roe的博客
09-11 622
JIT（Just-In-Time，实时编译）编译器是 Java 虚拟机（JVM）中的一项重要技术，用于将 Java 字节码（Bytecode）在运行时动态编译为机器码。Java 程序最初通过编译器（如javac）将源代码编译为字节码，字节码在 JVM 中解释执行。然而，由于解释执行每次都需要逐条翻译字节码指令为机器指令，这种方式效率较低。为了解决性能问题，JIT 编译器在程序运行时将热点代码编译为机器码，从而提高运行效率。JIT 编译器是 Java“编译型”和“解释型”语言的结合特性的重要体现之一。
JS笔记
2201_76100326的博客
09-11 902
javascript中的对象分为3种：自定义对象，内置对象，浏览器对象 JavaScript 中的所有事物都是对象：字符串、数字、数组、日期，等等。在 JavaScript 中，对象是拥有属性和方法的数据。属性是与对象相关的值。方法是能够在对象上执行的动作。.关键词（）
构建高效 Python Web API：RESTful 设计与 GraphQL 实践
weixin_52392194的博客
09-11 1350
在现代 Web 开发中，API 是前后端通信的核心枢纽，设计一个高效且易于扩展的 API 是保证系统良好运行的基础。本文详细探讨 RESTful API 的设计准则，如何生成 API 文档，GraphQL 的应用，以及如何在 FastAPI 和 Django REST Framework 中实现分页、过滤、认证等功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值