第四节笔记 XTuner大模型单卡低成本微调实战笔记

最新推荐文章于 2024-10-06 21:18:37 发布
最新推荐文章于 2024-10-06 21:18:37 发布
阅读量318 收藏
点赞数 2
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tuyihan/article/details/136152545
版权

1. Finetune简介

在LLM的下游应用中主要使用的微调方式是增量预训练和指令跟随

指令跟随微调是根据一些对话模版进行微调增量预训练微调是将新领域的文本内容喂给大模型

两种常见的微调

2. XTuner介绍

介绍了XTuner工具的一些重要功能，如何通过已有的训练配置文件来自定义训练配置。还有一些XTuner的基础命令.

3. 8GB 显卡玩转LLM

tuyihan
关注
XTuner 大模型单卡低成本微调实战笔记
m0_75085274的博客
01-13 1918
这部分非常重要，因为以后如果我们想在自己的训练集上进行训练，就要使用这个内容。首先第一步的话就是准备数据集的格式，这里大佬是用GPT生成的，我的天呀，原来大佬也用gpt生成代码呀，但是的话，大佬好像比我强的是使用提示词，我代码不会写，可以使用提示词让gpt帮我写，就这么干了！上面的数据文件是表格形式的，我们要先将提问和回答提取出来，然后保存到josnl文件中去，学习一下提示词[{},}]这后吧文件复制过来。
第四节笔记：XTuner 大模型单卡低成本微调实战
Kerin的博客
02-17 372
视频链接：https://www.bilibili.com/video/BV1yK4y1B75J/?这三种角色的划分只有在微调训练阶段有，在预测阶段其实只有用户一个角色，系统角色是模版默认写好的(也可以修改)指令跟随微调是一问一答的数据，输入是一问一答，只对答案进行损失计算，而增量预训练微调的训练数据只需要答案。1.Finetune简介。三、8GB显存玩转LLM。
第四课笔记 XTuner 大模型单卡低成本微调实战
weixin_42035282的博客
02-02 968
以数据集为例场景需求基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。此时，我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集，即几个.jsonL，也传到服务器上。MSAgent 数据集每条样本包含一个对话列表（conversations），其里面包含了 system、user、assistant 三种字段。
第四节课 XTuner 大模型单卡低成本微调实战（笔记）
2301_80618119的博客
01-11 914
LLM的下游应用中，增量预训练与指令跟随是经常会用到的两种的微调模式。多种微调算法适配多种开源生态自动优化加速。
[第四课笔记]XTuner 大模型单卡低成本微调实战
weixin_38771145的博客
02-21 458
一个大语言模型微调工具箱。由MMRazor和MMDeploy联合开发。以数据集为例场景需求基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。此时，我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集，即几个.jsonL，也传到服务器上。
第四节课 XTuner 大模型单卡低成本微调实战 作业
m0_49289284的博客
01-14 532
第四节课 XTuner 大模型单卡低成本微调实战 作业
第四讲《XTuner 大模型单卡低成本微调实战》笔记
m0_55546566的博客
02-21 199
2、XTuner介绍。3、8GB玩转LLM。
书生·浦语大模型实战营笔记-第四节 XTuner 大模型单卡低成本微调实战
qq_46212981的博客
01-12 1116
介绍Finetune和XTunner的概念。并微调Xtuner两种微调模式：增量预训练、指令跟随增量预训练：用文章、数据、代码等让基座模型学到一些新知识指令跟随：用高质量的对话和问答数据让模型学会对话模板指令微调之前，模型不知道自己要回答一个问题支持热门数据集的映射支持多数据的样本拼接如果要用别的数据集进行微调，需要将数据转换成Xtuner的格式准备配置文件运行xtuner微调然后把pth转换成Huggingface格式。
XTuner 大模型单卡低成本微调实战（笔记四）
2302_81490682的博客
06-26 503
平台：Ubuntu + Anaconda + CUDA/CUDNN + 8GB nvidia显卡在InternStudio平台上，按照笔记二的步骤得到pytorch 2.0.1 的环境，然后：然后激活环境：# 激活环境# 进入家目录 （~的意思是 “当前用户的home路径”）cd ~# 创建版本文件夹并进入，以跟随本教程# 拉取 0.1.9 的版本源码# 无法访问github的用户请从 gitee 拉取:# 进入源码目录cd xtuner# 从源码安装 XTuner。
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
丨汀、的博客
04-30 399
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
llama-factory学习使用笔记
xiaomu_347的博客
06-17 989
想要对开源的llama大模型，针对自己的数据进行微调，这里推荐llama-factory项目，LLama Factory，这个工具能够高效且低成本地支持对 100 多个模型进行微调。LLama Factory 简化了模型微调的过程，并且易于访问，使用体验友好。当模型和数据都已经配置完成，接下来就是开始训练了，这里我采用的是基于llama2-7b的模型，加上自己的中文数据利用lora方法进行sft，其他的参数设定如下。这样刷新后在加载数据时就可以看到自己添加的数据了，还可以对内容进行可视化。
LLM大模型综述
热门推荐
zh515858237的专栏
01-10 2万+
LLM其实就是large language model，大语言模型。如果对“最终任务”进一步进行分类，又大致可以分为两大不同类型的任务：自然语言理解类任务和自然语言生成类任务。如果排除掉“中间任务”的话，典型的自然语言理解类任务包括文本分类、句子关系判断、情感倾向判断等，这种任务本质上都是分类任务，就是说输入一个句子（文章），或者两个句子，模型参考所有输入内容，最后给出属于哪个类别的判断。自然语言生成也包含很多NLP研究子方向，比如聊天机器人、机器翻译、文本摘要、问答系统等。
熬夜整理模型下载、量化、代码调用可免费使用离线部署的上千个国内外开源大模型梳理，整理开源的大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等
代码讲故事
01-31 1733
熬夜整理模型下载、量化、代码调用，可免费使用离线部署的上千个国内外开源大模型梳理，整理开源的大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。 * Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。
循环世界模型(Recurrent World Models)——真实世界建模的强化学习利器
hhy_csdn的博客
03-08 1万+
世界模型 智能体可以在它们头脑中的世界进行学习吗？   世界模型（World Model）是NIPS 2018获得口头报告的论文之一，也是谷歌AI和Deepmind 2019年力作深度规划网络 PlaNet的主要参考文献之一。这篇博文是对World Model论文的翻译和学习笔记。原文地址 https://arxiv.org/abs/1803.10122 摘要   我们探索建立通用强化学习环境的生...
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 862
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）–书生基础岛第5关---XTuner 微调个人小助手认知
最新发布
haidizym的博客
10-06 276
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1tz421B72y/课程文档：关卡作业：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner/task.md开发机平台：https://studio.intern-ai.org.cn/
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 485
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
强化学习笔记之【DDPG算法】
rvdgdsva的博客
10-06 551
强化学习第2篇.强化学习方向的学习者可以参考或者复刻
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值