LLM实战【书生·浦语 InternLM实战营】4 - 复现finetune过程

已于 2024-04-27 12:36:25 修改
阅读量270 收藏
点赞数 3
分类专栏： LLM 文章标签： 开源 chatgpt
于 2024-04-27 11:31:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/robin_ze/article/details/138245163
版权
本文介绍了如何使用XTuner工具对模型进行细致的微调，包括处理训练过程中的格式转换，整合代码行，并实现Web端的测试，提供了实用的开发步骤和技术指南。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用XTuner进行微调

训练过程
训练过程
格式转换
将pytorch输出的pth文件转为huggingface格式文件
模型整合
模型整合
代码行测试
代码行测试
Web端测试
Web端测试

书生·浦语大模型实战营-学习笔记4
qq_37397652的博客
01-20 646
【代码】书生·浦语大模型实战营-学习笔记4。
书生·浦语(InternLM)-大模型实战营-春节课程-学习笔记3
LYMing1986的博客
02-21 470
LangChain支持自定义LLM，本课程中本地部署的InternLM可作为自定义的后端。
【 书生·浦语大模型实战营】学习笔记（四）：XTuner 微调 LLM：1.8B、多模态、Agent
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-28 1846
本篇笔记内容主要为XTuner 微调 LLM。主要对微调概念、XTuner框架等进行详细介绍，并对多模态LLava1.8b进行模型训练微调、模型合并、对话测试实战，欢迎大家交流学习！
书生·浦语大模型实战训练营第二期第四节--Xtuner微调LLM--homework
weixin_61573157的博客
04-16 816
后两部分都是 XTuner 官方帮我们优化好的东西，一般而言只有在魔改的情况下才需要进行修改。下面我们将根据项目的要求一步步的进行修改和调整吧！
书生·浦语训练营-基于 InternLM 和 LangChain 搭建你的知识库
weixin_73902638的博客
02-13 1635
完成 LangChain 的自定义 LLM 子类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。由于不同类型的文件需要对应不同的 FileLoader，我们判断目标文件类型，并针对性调用对应类型的 FileLoader，同时，调用 FileLoader 对象的 load 方法来得到加载之后的纯文本对象。目录，将该脚本和后续脚本均放在该目录下运行。微调技术的优势在于能够利用预训练模型的通用知识，同时通过针对性的训练适应具体任务，提升模型在特定应用场景下的性能。
【书生大模型实战营】InternVL 微调实践闯关任务
qq_41234663的博客
08-19 1164
【书生大模型实战营】InternVL 微调实践闯关任务
【InternLM 实战营第二期笔记4】XTuner 微调 LLM：1.8B、多模态和 Agent
qq_45776432的博客
04-24 552
本笔记主要介绍了XTuner 微调 LLM：1.8B、多模态相关的知识以及上手实践。
书生浦语实训营第四期基础岛---第五节 XTuner 微调 InternLM 个人小助手认知实践
weixin_42353450的博客
12-17 1612
微调内容需要使用 30% A100 才能完成。SFT 数据的获取使用模型微调针对业务场景（如特殊自我认知的机器人）的微调能力一个属于自己的语言聊天机器人。
第四期书生大模型实战营-基础岛 第五关
2401_86139790的博客
12-23 780
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。表示微调的模型权重文件路径，即要转换的模型权重，
书生·浦语 大模型实战营（第三期） 进阶岛 第 4关 InternVL 多模态模型部署微调实践
Pythonliu7的博客
08-25 1191
是一种用于的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现对于InternVL这个模型来说，它vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。对于视觉模块来说，它的特殊之处在Dynamic High Resolution。
书生大模型实战营（暑假场）进阶岛关卡四——InternVL 多模态模型部署微调实践
HJL1228的博客
08-25 1087
书生大模型实战营（暑假场）进阶岛关卡四——InternVL 多模态模型部署微调实践 follow 教学文档和视频使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图. 尝试使用LoRA，或调整xtuner的config，如LoRA rank，学习率。看模型Loss会如何变化，并记录调整后效果(选做，使用LoRA或调整config可以二选一)
第四期书生大模型实战营【基础岛】—— XTuner 微调个人小助手认知
weixin_45730545的博客
02-12 625
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件。在模型合并完成后，我们就可以看到最终的模型和原模型文件夹非常相似，包括了分词器、权重文件、配置信息等等。，对应修改模型文件的路径，这里可以直接使用之前上传的模型。表示微调的模型权重文件路径，即要转换的模型权重，
书生浦语课程笔记3-使用InternLM和LangChain搭建知识库
zhiho14的博客
01-14 1331
和。
阿里开源 CosyVoice2：打造 TTS 文本转语音实战应用
蜗牛的博客
05-23 497
阿里通义实验室推出的音频基座大模型 FunAudioLLM 包含 SenseVoice 和 CosyVoice 两大模型。CosyVoice 2.0 在多语言支持、超低延迟、高精度、强稳定性和自然体验方面均有显著提升。它支持中文、英文、日文、韩文及多种中文方言，并实现了跨语言和混合语言的语音克隆。CosyVoice 2.0 集成了离线和流式建模技术，首包合成延迟低至150毫秒，发音错误率减少了30%到50%，并在基准测试中达到了最低字符错误率。
Strands Agents：AWS开源Agent框架的技术与应用全景
攻城狮7号的博客
05-22 1075
Strands Agents以其模型驱动、极简开发、生产级可用、开放生态的独特优势，成为AI Agent开发领域的创新引擎。它不仅极大降低了Agent开发门槛，更为企业级AI应用的规模化落地提供了坚实基础。在AI Agent浪潮席卷全球的今天，Strands Agents为开发者和企业提供了一条从原型到生产、从单体到多Agent协作、从本地到云端的全流程解决方案。无论你是AI开发新手，还是企业IT架构师，Strands Agents都值得深入学习与实践。
Lucide：一款精美的开源矢量图标库，前端图标新选择
Code_流苏：在代码中寻诗意，在实践中觅真知
05-22 411
在前端开发或 UI 设计过程中，一个优雅统一的图标库是不可或缺的。今天要给大家介绍的是一个精美、开源、社区驱动的矢量图标库 —— Lucide。
facebook开源Triton编写GPU内核的编程模型速读：KernelLLM
最新发布
直达开源前线，冲冲冲！
05-23 612
KernelLLM 是一个基于 Llama 3.1 Instruct 的大型语言模型，专为使用 Triton 编写 GPU 内核的任务而设计，旨在提升 GPU 编程的普及性和效率。该模型采用优化的变压器架构，并在约 25000 个 PyTorch 模块及其等效 Triton 内核实现的配对示例上进行训练，结合了筛选代码和合成样本。训练过程使用监督指令微调方法，耗时约 12 小时，共 192 个 GPU 小时。在 KernelBench-Triton 基准测试中，KernelLLM 表现优异，超越了 GPT-
VSCode推出开源Github Copilot：AI编程新纪元
冰茶的博客
05-22 1229
在AI编程助手领域掀起一场重大变革，微软于2025年5月19日宣布将GitHub Copilot Chat扩展的代码以MIT许可协议开源，并将其核心AI功能整合到Visual Studio Code中，这一战略性举措旨在将VS Code打造成为一个真正的开源AI编辑器。这一消息对开发者社区产生了巨大影响，标志着编程工具发展的新方向。
一个C#跨平台的机器视觉和机器学习的开源库
成长的足迹
05-23 281
EmguCV库包括视觉的许多领域，如工厂产品检验、医学影像、用户接口、摄像机标定、立体视觉和机器人等。大家都知道OpenCV是一个跨平台的机器视觉和机器学习的开源库，可以运行在Linux、Windows、Android和Mac OS操作系统上，由C++开发。3、易于使用：提供了与.NET环境的无缝集成，使用者可以通过C#和VB等熟悉的编程语言来使用OpenCV的功能。图像分割：提供了各种图像分割算法，如基于阈值的分割、基于区域的分割等。几何变换：支持各种几何变换算法，如平移、旋转、缩放等。
https://swanlab.cn/@LiXinYu/deepseek-llm-7b-chat-finetune/overview
02-07
### DeepSeek-LLM-7B 聊天微调概览 SwanLab 平台上由 LiXinYu 提供的 DeepSeek-LLM-7B 聊天微调模型概述...url = "https://swanlab.cn/@LiXinYu/deepseek-llm-7b-chat-finetune/overview" webbrowser.open(url) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值