XTuner大模型单卡低成本微调实战

已于 2024-01-25 09:50:50 修改
阅读量515 收藏 10
点赞数 8
文章标签： 人工智能 语言模型 transformer 自然语言处理
于 2024-01-24 23:51:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34354951/article/details/135834056
版权

XTuner大模型单卡低成本微调实战

最开始还是越学越迷糊的状态
在这里插入图片描述
在这里插入图片描述
当训练260步左右的时候loss已经比较小了（0.0460），已经可以生成对应的内容了
在这里插入图片描述

目前已经修改了自我身份，但是已经丧失了对话能力，完全过拟合了，纯纯复读机，需要重新设计预料进行训练
在这里插入图片描述

__y__
关注
XTuner: 高效灵活的大模型微调工具
步子哥的博客
07-26 641
XTuner是一个专为大模型微调设计的开源工具库。它的目标是提供一个高效、灵活且全能的平台，使用户能够轻松地对各种大语言模型进行定制化训练。XTuner不仅支持主流的语言模型，还扩展到多模态模型的领域，为研究人员和开发者提供了强大的工具支持。
LLaMA Factory单机微调的实战教程
热门推荐
herosunly的博客
04-24 12万+
本文主要介绍了使用LLaMA Factory对大模型进行单机微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调
XTuner 大模型单卡低成本微调实战
zhjunqin的博客
01-14 586
视频链接：https://www.bilibili.com/video/BV1yK4y1B75J/?vd_source=bebd279bbc043ae1c13d45838597180f 文档地址：https://github.com/InternLM/tutorial/tree/main/xtuner XTuner Repo: https://github.com/InternLM/xtuner/tree/main 拷贝修改配置文件 训练微调 使用命令训练 也可以增加 d
第四课-XTuner 大模型单卡低成本微调实战
qq_46016871的博客
02-21 1077
一个大语言模型微调工具箱。由MMRazor和MMDeploy联合开发。以数据集为例场景需求基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。此时，我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集，即几个.jsonL，也传到服务器上。
XTuner 大模型单卡低成本微调实战笔记
m0_75085274的博客
01-13 1943
这部分非常重要，因为以后如果我们想在自己的训练集上进行训练，就要使用这个内容。首先第一步的话就是准备数据集的格式，这里大佬是用GPT生成的，我的天呀，原来大佬也用gpt生成代码呀，但是的话，大佬好像比我强的是使用提示词，我代码不会写，可以使用提示词让gpt帮我写，就这么干了！上面的数据文件是表格形式的，我们要先将提问和回答提取出来，然后保存到josnl文件中去，学习一下提示词[{},}]这后吧文件复制过来。
大模型微调学习之旅④ — XTuner 大模型单卡低成本微调实战
HOOK1的博客
01-13 3002
图解：Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用Gunacao 格式，QLoRA 项目中所使用数据集的格式OpenAI 格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式。
04 XTuner 大模型单卡低成本微调实战
Wzxdecsdn的博客
01-14 1025
关于XTuner 大模型单卡低成本微调实战的记录
XTuner 大模型单卡低成本微调实战——笔记
YYYYbhjbhkv_的博客
01-26 1061
一个大语言模型微调工具箱。由MMRazor和MMDeploy联合开发。以数据集为例基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。此时，我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集，即几个.jsonL，也传到服务器上。MSAgent 数据集每条样本包含一个对话列表（conversations），其里面包含了 system、user、assistant 三种字段。
第四节笔记 XTuner大模型单卡低成本微调实战笔记
tuyihan的博客
02-18 338
介绍了XTuner工具的一些重要功能，如何通过已有的训练配置文件来自定义训练配置。还有一些XTuner的基础命令.在LLM的下游应用中主要使用的微调方式是。是将新领域的文本内容喂给大模型。3. 8GB 显卡玩转LLM。1. Finetune简介。是根据一些对话模版进行微调。2. XTuner介绍。
Xtuner 大模型单卡低成本微调之本地实战--医学问答
weixin_55982578的博客
02-22 1197
3090本地大模型微调，使用医学问答数据集
「浦语大模型四」Xtuner微调实战
ljn20001229的博客
01-21 589
Xtuner接受jsonl格式的数据，所以我们在实际微调时，常常将文本数据转化成相应的格式进行微调，这里利用chatgpt工具帮我们写python脚本进行数据格式转换，将原xlsx格式转换为我们需要的格式再进行上述操作结果展示。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 425
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 1485
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
AI重塑软件开发流程
车轮的博客
11-10 956
既然谈到传统软件开发与AI参与的软件开发的对比，我们就来看一下这两者之前的区别。
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 407
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
在后LLM时代，关于新一代智能体的思考
langboat_mengzi的博客
11-07 775
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
Yolo11实战改进：一文读懂Yolo11到实战。
m0_47867638的博客
11-09 564
YOLO11是Ultralytics YOLO系列实时目标检测器的最新迭代版本，它以尖端的精度、速度和效率重新定义了可能性。在之前YOLO版本令人瞩目的进步基础上，YOLO11在架构和训练方法上引入了重大改进，使其成为各种计算机视觉任务的通用选择。关键特性：YOLO11采用改进的主干网络和颈部架构，提高了特征提取能力，以实现更精确的目标检测和更复杂的任务性能。YOLO11引入了精细的架构设计和优化的训练流程，提供了更快的处理速度，并在准确性和性能之间保持了最佳平衡。
多媒体信息检索
最新发布
Edward2022的博客
11-10 336
多媒体信息检索：信息检索(Information Retrieval)、文本检索、图像检索、视频检索、多模态学习、跨文本检索
CVPR2024：PKINet(上下文锚点注意力机制)
kuailezzf的博客
11-06 485
PKINet采用无扩展的多尺度卷积核来提取不同尺度的目标特征并捕获局部上下文。具体来说，首先，PKINet不依赖于大核卷积或膨胀卷积来扩展感受野，而是利用无扩展的深度卷积（inception-style）来提取不同感受野之间的多尺度纹理特征。最后，这两个模块协同工作，促进了局部和全局上下文信息的自适应特征提取，从而提高了遥感目标检测的性能。为了解决上述问题，以前的方法是通过大核卷积或膨胀卷积来扩展主干网络的空间感受野。但是，前者通常会引入相当大的背景噪声，而后者可能会产生过于稀疏的特征表示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值