微调大模型如何准备数据集——常用数据集，Alpaca和ShareGPT

已于 2025-05-06 22:48:10 修改
阅读量198 收藏
点赞数
分类专栏： 人工智能与机器学习教程 文章标签： 大模型 人工智能 微调 python github Deepseek Qwen
于 2025-05-06 22:47:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61531676/article/details/147749236
版权
了解本专栏 订阅专栏 解锁全文
训练集alpaca、sharegpt格式
大AI时代，人性化的信息更加难得可贵
10-25 733
Alpaca 格式适用于指令驱动的任务，如文本生成、摘要、翻译等，具有清晰的指令、输入和输出字段。ShareGPT 格式则侧重于多轮对话，适用于对话系统的训练，模拟用户与 AI 的交互。如果是基于指令的任务，Alpaca格式是理想的选择；如果是对话模型，ShareGPT格式会更合适。
大模型微调指南——硅基流动线上微调
Science prince的博客
05-07 10
在大模型微调中，我们一般使用Alpaca 和 ShareGPT和两种格式的数据集。
大模型微调——训练数据集的格式Alpaca 和 ShareGPT
qq_42755230的博客
10-12 9423
介绍了大模型微调用到的两种数据集格式Alpaca和ShareGPT
一文掌握大模型数据准备、模型微调、部署使用全流程
热门推荐
刘炫320的博客
04-27 1万+
距离ChatGPT已经发布1年半了，距离我们训练出自己的大模型也已经1周年了。目前仍然有很多同学在咨询如何训练自己的大模型。这个东西和男/女朋友一样。当你不认识TA，距离TA很远，不敢接触TA的时候，TA就是很神秘，也很难接触。但是一旦当你愈发了解TA的时候，你就知道其实上手也很容易。之前我已经撰写了一个简单的训练大模型的代码，用于阐述大模型训练其实和原来的训练没什么两样。但是随着大模型深入到了每一个研究者的
【04】LLaMA-Factory微调大模型——数据准备
H66778899的博客
07-18 5788
【04】LLaMA-Factory微调大模型——数据准备
12 大模型学习——LLaMA-Factory微调
weixin_54388827的博客
04-02 1422
Alpaca 格式由斯坦福大学的研究人员提出，主要用于单轮指令微调任务。针对不同任务，数据集的格式要求不同。应用场景：- 适用于单轮任务，如问答、文本生成、摘要、翻译等。- 结构简洁，任务导向清晰，适合低成本的指令微调。
零基础定制大模型=基础模型+自定义数据集+微调--Datawhale AI
aiqq136的博客
12-10 834
零基础定制大模型：lora原本要训练W这么多的参数，现在只用训练A和B的参数了，A和B的秩很小，所以其组成的适配器需要训练的参数很少，就降低了计算和存储成本。例如，使用Adam对GPT-3: 175B进行微调，与使用LoRA进行微调，可训练参数减少10,000倍和GPU内存需求减少3倍。将LoRA与量化相结合，优化内存使用和计算效率。添加少量可训练的参数，同时保持原始参数冻结。
Unsloth 教程 - 如何微调 Llama-3并导出到 Ollama
AI工程化、开源分享、文档翻译、代码笔记
08-24 2778
1、什么是Unsloth？ 2、什么是Ollama？ 3、安装Unsloth 4、选择要微调的模型 5、微调参数 6、Alpaca 数据集 7、多列微调 8、多轮对话 9、可定制的聊天模板 10、训练模型 11、推理/运行模型 12、保存模型 13、导出到 Ollama 14、自动创建`Modelfile` 15、Ollama 推理 16、交互式ChatGPT风格 你做到了！
再聊大模型的微调训练——指令监督微调SFT & 强化学习RL
2401_85390073的博客
03-06 981
AI大模型的训练有很多方式，传统的是指令监督微调（SFT），SFT是在预训练模型基础上，使用带标注的（指令，输入，输出）数据，通过监督学习调整模型参数，使其适配特定任务（如文本分类、问答等）。而对应的形式有全参数微调、部分参数微调（LoRA，即PEFT技术）等形式。传统的大语言模型训练通常依赖于监督学习方法，特别是在微调阶段。监督学习要求每个输入都有一个明确的"正确答案"作为标签。然而，在许多复杂任务中，如推理、创意写作或开放式对话，很难定义什么是"最优"回答。
大模型入门（一）—— LLaMa/Alpaca/Vicuna
Aweii__的博客
07-12 777
LLaMa模型是Meta开源的大模型，模型参数从7B到65B不等，LLaMa-7B在大多数基准测试上超过了GPT3-173B，而LLaMa-65B和Chinchilla-70B、PaLM-540B相比也极具竞争力。相比于ChatGPT或者GPT4来说，LLaMa可能效果上还有差距，但相比Closed AI，至少LLaMa论文和模型都开源出来了，目前hugging face已集成了LLaMa的代码实现和开源模型。学术界和工业界都可以在此基础上进行学习和研究。
自然语言处理实战：用CRF打造高精度命名实体识别系统
Loving_enjoy的博客
05-03 1641
无论是想快速搭建一个可用的NER系统，还是希望深入理解概率图模型的精髓，CRF都是值得放入工具箱的利器。'prev_is_b-geo': prev_tag == 'B-GEO' # 假设prev_tag是前一个标签。('参观天安门', ['O', 'B-POI', 'I-POI', 'I-POI'])" —— 人工智能先驱吴恩达。- **BiLSTM-CRF**：经典组合，在CoNLL-2003达到91%的F1值。('北京市', ['B-GEO', 'I-GEO', 'I-GEO']),
解锁DeepSeek模型微调：从小白到高手的进阶之路
邓邓子的博客
05-05 1857
本文围绕 DeepSeek 模型微调展开系统阐述。首先介绍 DeepSeek 模型在 AI 领域的重要地位及其优势，点明微调对提升模型性能的关键意义。接着深入解析微调原理，涵盖迁移学习基础与参数更新机制。随后详细讲解数据准备、模型选择加载、微调训练实战等核心步骤，包括数据收集标注预处理、参数设置与策略选择。还通过实战案例展示微调全流程，并基于评估结果提出优化改进方法。最后对 DeepSeek 模型微调进行总结，展望其未来发展方向，为希望掌握 DeepSeek 模型微调技术的读者提供全面指导。
基于对应点分类的对象识别 报错
qq_25194681的博客
05-07 349
【代码】基于对应点分类的对象识别 报错。
『MaxKB业务实战（四）』在MaxKB中实现图片问答
老陈聊架构
05-07 1329
本文详细介绍了在MaxKB中实现图片问答功能的完整流程，包括图片上传、存储、展示以及AI返回图片回答的步骤。AI应用通过关联知识库，能够返回图片回答，提升用户体验。此外，文章还介绍了如何创建高级编排应用并设置图片上传参数，以便后续接入图片大模型进行识别。
基于MATLAB图像中的圆形目标识别和标记
xrgs_shz的博客
05-05 992
这个公式的来源是，对于圆来说，这个值等于1，因为圆的周长P=2πr，面积A=πr²，代入得4π*(πr²)/(4π²r²)=1。例如，正方形的面积是a²，周长是4a，所以圆度为4πa²/(4a)^2 =4πa²/(16a²)=π/4≈0.7854。'y', 'FontSize',14,'FontWeight','bold') %在边界左侧显示圆度。
Qwen3 混合思维模版解读
qq128252的博客
05-07 734
在人工智能迅速发展的今天，大型语言模型（Large Language Models，简称LLM）正逐渐成为各类应用的核心组件。其中，对话模板（Chat Template）作为连接用户与模型的关键桥梁，对确保高质量的交互体验至关重要。本文将深入解析Qwen3使用的对话模板，揭示其如何优雅地处理多轮对话、工具调用等复杂场景。
《目标检测项目总结》
最新发布
2502_90678230的博客
05-08 483
典型算法：- R-CNN（Region-based Convolutional Neural Networks）- Fast R-CNN- Faster R-CNN- Cascade R-CNN2. One stage算法定义：One stage算法将目标检测任务作为一个端到端的任务，直接在输入图像上预测目标的类别和位置，无需显式生成候选区域。COCO数据集的优势和劣势：优势：1. 规模庞大：包含20万个图像和80个类别，标注目标超过50万个，适合训练复杂的目标检测模型。解决COCO数据集标注复杂的问题，
我让AI接管了浏览器！Browser Tools MCP教程：自动Debug+截屏+SEO分析
seeyouintokyo的博客
05-03 1829
小白友好，且效率翻倍
英伟达语音识别模型论文速读：Token-and-Duration Transducer（TDT）架构
weixin_52582710的博客
05-05 1562
论文提出的 TDT 模型通过在传统 Transducer 模型中加入显式的持续时间建模，在语音识别、语音翻译和口语理解等多个序列任务中均优于传统 Transducer 模型。TDT 模型不仅在准确率上表现相当或更好，而且在推理速度上显著提升，最高可达 2.82 倍加速。此外，TDT 模型在抗噪声和处理重复 token 方面也展现出更强的鲁棒性。未来的工作将致力于进一步提高 TDT 模型的计算效率和准确性，并开发高效的 TDT 模型束搜索算法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

prince_zxill

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值