最全 高质量大模型 -指令调优数据集（不定期更新）

已于 2024-09-15 20:48:08 修改
阅读量1.2k 收藏 16
点赞数 48
文章标签： 人工智能
于 2024-09-13 18:19:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011559552/article/details/142188146
版权

指令调优数据集就像是模型的“速成班”，给它明确的指导，让它在各种任务中都能快速上手，成为我们生活中的得力助手。

  1. 个性化指导：首先，它就像是给模型的一对一辅导，我告诉模型，“嘿，这里有个任务，你需要这么做。” 然后给它展示正确的做法。这种数据集就是由这样的“任务和正确答案”组成的，帮助模型学习如何按照指令行动。

  2. 全能选手：这种数据集覆盖了各种各样的任务，比如写作文、回答问题、甚至聊天。这意味着模型经过这样的调优后，就能在多种场景下都能表现得像个真正全能选手。

  3. 快速学习：最后，指令调优数据集能让模型学得更快。就像是给了模型一个加速器，让它在短时间内就能掌握很多新技能。这样，我们就能更高效地利用模型，更快地解决实际问题。

数据集：distilabel-reflection-tuning|AI模型调优数据集|复杂概念生成数据集

  • 发布时间：2024-09-06

  • 链接地址：复杂概念生成｜调优数据集

  • 数据集介绍：distilabel-reflection-tuning 数据集是使用 Distilabel 工具创建的合成数据集。它包含指令、模型名称和生成的输出示例，以及关于原始输入和输出文本的元数据。数据集结构包含默认配置，并包括包含 5 个示例的训练分割。该数据集旨在用于 AI 模型的反思调优，特别是用于分析和生成对复杂概念（如结合咖啡店、书店和餐厅的想法）的响应。该数据集可以使用提供的管道脚本和配置文件进行重现。

数据集：对话-百科（中文）训练集

  • 发布时间：2024-07-13

  • 链接地址：对话百科｜调优数据集

  • 数据集介绍：欢迎踏入“多元知识宝典”的殿堂，这里是您的私人炼金术士专属原料库！无论您旨在构建聊天机器人，还是希望通过语料库掌握seq2seq或Transformer技术，这个拥有10万条精选中文对话的宝库都将为您提供助力。为了强化模型对人类语言语义的深刻理解和提高其在面对未知数据时的表现，我们在构建数据集的过程中采取了一种策略，即刻意纳入了一系列语义等价但表达形式各异的询问实例。这一策略的核心目的在于训练模型识别并掌握自然语言的多态性，从而显著增强其泛化能力。

数据集：Magpie-Qwen2-Pro-200K-Chinese|中文问答数据集|模型生成数据数据集

  • 发布时间：2024-06-26

  • 发布机构：Magpie Alignment

  • 链接地址：中文问题回答

  • 数据集介绍：该数据集由 Qwen/Qwen2-72B-Instruct 模型使用Magpie方法生成，包含200,000个样本，主要用于中文问题回答任务。数据集特征丰富，包括uuid、模型名称、生成输入配置、指令、响应、对话、任务类别等。数据集通过过滤确保高质量，如输入质量至少为'good'，指令奖励大于等于-10，语言为中文，并移除重复和不完整的指令。

数据集：BAAI/Infinity-Instruct|指令数据集数据集|指令微调数据集

  • 发布时间：2024-06-13

  • 发布机构：北京智源人工智能研究院

  • 地址地址：文本生成任务

  • 数据集介绍：Infinity Instruct是一个大规模高质量指令数据集，主要用于文本生成任务，包含英文和中文两种语言，数据量在1M到10M之间。数据集的构建基于大量的开源数据，通过指令选择和指令进化两种策略进行迭代。数据集分为基础数据集和聊天数据集两类，分别用于提升模型在复杂下游任务和实际对话场景中的性能。数据来源包括多个开源社区的数据集，如OpenHermes-2.5、UltraInteract_sft等。数据集的构建过程中，还采用了GPT-4自动评估和下游任务性能评估，以确保数据集的质量和实用性。

数据集：shi-labs/CuMo_dataset|机器学习数据集|自然语言处理数据集

  • 发布时间：2024-05-06
  • 发布机构：shi-labs
  • 链接地址：模型视觉指令
  • 数据集介绍：CuMo数据集是一个用于多阶段训练的集合，包括预训练、预微调和视觉指令调优。预训练阶段使用LLaVA-558K数据集来预训练MLP，预微调阶段使用ALLaVA数据集，而视觉指令调优阶段则整合了多个数据集，如LLaVA-665K、ShareGPT4V等，以增强模型的视觉指令处理能力。所有数据集的使用均遵循各自的原始许可证。

数据集：shareAI/DPO-zh-en-emoji|聊天机器人数据集|指令微调数据集

  • 发布时间：2024-06-04

  • 发布机构：shareAI

  • 链接地址：聊天机器人

  • 数据集介绍：一个带有趣味文字表情的机器人聊天对话数据集，包含中文和英文版本，可用于SFT/DPO训练。数据集中的问题来源于知乎、逻辑推理和Weichi Bar，使用llama3 70b instruct版本生成，每个问题对应一个中文和一个英文答案，用于对齐语言模型的语种和语言风格。此外，数据集还可用于传统的训练方法如SFT/ORPO，以提升模型的逻辑推理和复杂问题解答能力。

数据集：llama3 中文化数据集|自然语言处理数据集|中文语言模型数据集

  • 发布时间：2024-05-29

  • 链接地址：中文语言模型

  • 数据集介绍：该数据集为 llama3 中文化数据集集合，已统一处理为 firefly 格式，可以配合 firefly 工具直接训练 llama3 中文模型。

数据集：CMNEE（Chinese Military News Event Extraction dataset）|自然语言处理数据集|军事新闻分析数据集

  • 发布时间：2024-04-18

  • 发布机构：国防科技大学、东南大学、清华大学

  • 链接地址：中文军事新闻

  • 数据集介绍：CMNEE（Chinese Military News Event Extraction dataset）是国防科技大学、东南大学和清华大学联合构建的一个大规模的、基于文档标注的开源中文军事新闻事件抽取数据集。该数据集包含17,000份文档和29,223个事件，所有事件均基于预定义的军事领域模式人工标注，包括8种事件类型和11种论元角色。数据集构建遵循两阶段多轮次标注策略，首先通过权威网站获取军事新闻文本并预处理，然后依据触发词字典进行预标注，经领域专家审核后形成事件模式。随后，通过人工分批、迭代标注并持续修正，直至满足既定质量标准。CMNEE作为首个专注于军事领域文档级事件抽取的数据集，对推动相关研究具有显著意义。

数据集：zjunlp/iepile|信息抽取数据集|大规模语料库数据集

  • 发布时间：2024-04-09

  • 发布机构：浙江大学

  • 链接地址：大规模信息抽取预料库

  • 数据集介绍：IEPile是一个大规模的信息抽取语料库，专注于基于模式的指令型信息抽取。该语料库包含约0.32B个标记，涵盖通用、医疗、金融等多个领域。IEPile采用了一种基于模式的批量指令生成方法，成功地创建了一个高质量的IE微调数据集。该数据集支持英语和中文，并已用于微调Baichuan2-13B-Chat和LLaMA2-13B-Chat模型，这些模型在完全监督的训练集上表现出色，并在零样本信息抽取任务中取得了显著的改进。

数据集：zhengr/COIG-CQIA|中文NLP数据集|指令微调数据集

  • 发布时间：2024-03-26

  • 链接地址：人类交互行为

  • 数据集介绍：COIG-CQIA是一个开源的高质量中文指令微调数据集，旨在为中文NLP社区提供高质量且符合人类交互行为的指令微调数据。该数据集从中文互联网的问答和文章中获取原始数据，经过深度清洗、重构及人工审核构建而成。数据格式为JSON，包含多个字段，如instruction、input、output等，用于描述指令、输入、输出及相关任务和领域信息。

数据集：pinzhenchen/alpaca-cleaned-bg

  • 发布时间：2024-03-06

  • 链接地址：保加利亚语指令调优

  • 数据集说明：该HF数据仓库包含用于我们单语与多语指令调优研究的保加利亚语Alpaca数据集。数据集通过机器翻译从yahma/alpaca-cleaned数据集转换而来，包含约52K个实例，每个实例包括指令、输出和一个可选的输入。数据集主要用于保加利亚语指令调优。

数据集：DeepCtrl-sft-data 匠数科技大模型sft数据集|自然语言处理数据集|指令微调数据集

  • 发布时间：2024-04-30

  • 链接地址：自然语言处理

  • 数据集介绍：用于大模型SFT的包含10M条数据的中文数据集和包含2M条数据的英文数据集。随后，我们按照任务内容将其分为50类，并获得了每一类数据的关键词。

数据集：M³IT：多模式多语言指令调优数据集|视觉语言理解数据集|机器学习数据集

  • 发布时间：2024-01-19

  • 链接地址：视觉语言理解数据集

  • 数据集介绍： 该数据集由 40 个数据集组成，其中包括 240 万个实例和 400 条手动编写的任务指令，并重新格式化为视觉到文本结构。数据集编译了经典视觉语言任务的各种任务，包括字幕、视觉问答（VQA）、视觉条件生成、推理和分类。

数据集：KAgent Instruct 指令调优数据集|人工智能数据集|自然语言处理数据集

  • 发布时间：2024-01-16
  • 链接地址：人工智能数据集
  • 数据集介绍：KAgent Instruct 是 Kwai Agents (Github) 提出的指令调优数据集，是快手科技 KwaiKEG 开源的 Agent 相关系列作品。它包含超过 200k 条与代理相关的指令微调数据（部分由人工编辑）。请注意，该数据集不包含论文中提到的通用类型数据。
DatasetQuest
关注
微调自己的大模型缺乏数据？一文教你用现有大模型批量构建高质量数据
xxue345678的博客
05-17 2017
本任务旨在从数据库中挖掘出和应用场景高度相关的原始素材，利用性能先进大语言模型从示例样本和原始素材中快速构建出高质量的指令-输出对，形成种类多样、内容翔实的指令微调数据集。针对某一个应用场景，首先需要基于原始语料库人工构造一系列符合应用需求的示例样本作为参考，示例样本由“素材-指令-输出”三部分组成。然后利用模式匹配的方法从数据库进行数据挖掘，得到一批原始素材，例如税务场景中的个人所得税计算方法等。
性能飞跃！18种大模型指令调优技巧大放送，打造更强LLM！
2401_85373691的博客
08-27 636
一种针对大型语言模型（LLMs）的训练方法，。该方法的核心目标是使LLM具备遵循自然语言指令并完成现实世界任务的能力。它弥补了LLM的下一个单词预测目标与用户让LLM遵循人类指令的目标之间的差距，约束了模型的输出，使其符合预期的响应特征或领域知识。随着计算机技术的发展，指令调优在一些需要执行特定任务的场景上，如机器翻译、问答系统等，都有着广泛的应用前景。为帮助大家理解并掌握IT，我这次整理了，包含两个方向，每个方法的原文及模型源码也都整理啦。
大模型指令微调数据集（自用）
m0_73984272的博客
08-15 374
LAMM-Dataset 包括一个包含 186,098 个图像语言指令-响应对的图像指令调整数据集和一个包含 10,262 个点云语言指令-响应对的点云指令调整数据集。中提出了全新多图多轮评测基准MMDU及大规模指令微调数据集MMDU-45k，旨在评估和提升LVLMs在多轮及多图像对话中的性能。-----虽然主要关注点可能不在图像上，但作为一个大规模的指令微调数据集，它可能包含涉及图像理解的任务。（LVLMs）的核心能力之一是生成自然且有意义的回答，从而能够与人类进行流畅的图文对话。为此，研究团队在论文。
【LLM大模型】指令微调、peft高效参数微调
热门推荐
发现问题，并解决问题，批判性思维
05-07 1万+
LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。
最全 高质量 大模型 -预训练数据集（不定期更新）
u011559552的博客
09-13 885
遇见数据集，国内领先的百万级数据集搜索引擎，实时追踪全球数据集市场，助力把握数字经济时代机遇。
大模型技术讲解：大模型训练的数据
zhishi0000的博客
07-06 1039
大模型的训练数据通常是大规模的文本语料库，这些语料库包含了大量的文本数据，用于训练大型语言模型，如OpenAI的GPT-3和谷歌的PaLM。训练数据的大小通常在数十亿到数千亿个 tokens（单词、标点符号或其他语言单位）之间。例如，GPT-3的训练数据包含了约1750亿个tokens。训练数据通常来自各种不同的来源，包括书籍、文章、网页、对话等，以确保模型能够学习到各种不同的语言用法和知识。
百川大模型微调指令详解
qq_28704101的博客
07-24 1105
设定 beta2 为 0.98 比默认的 0.999 稍低，可能会使得优化过程对历史信息的依赖程度降低，从而提高优化过程的灵活性，但也可能增加训练过程中的噪声。在使用 Adam 或其他类似的优化算法（如 RMSprop、Adagrad）时，历史梯度对当前梯度的影响主要体现在如何计算梯度的动量（即梯度的移动平均）和梯度的平方的动量（即梯度平方的移动平均）。它影响训练过程的效率、显存使用和模型性能。这允许你在使用较小的批次大小的同时，相当于使用更大的批次进行训练，从而在硬件资源受限的情况下获得更大的批次效果。
2024年大语言模型（LLM）微调方法最全总结！_大模型微调_大语言模型微调
2401_85280307的博客
07-11 1047
众所周知，大语言模型(LLM)正在飞速发展，各行业都有了自己的大模型。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。那么，今天这篇文章就带大家深入了解大模型微调，主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。
垂直领域大模型微调最全指南
m0_56022510的博客
06-17 3242
一年来多以来，大语言模型发展和变化越来越快，总体呈现出模型尺寸越变越大，算力需求越来越多，模型推理要求越来越高的特点。在这种背景下，现在不同的人关于垂域 LLM 出现了一些争议，一部分人认为随着大模型的能力越来越强，垂类的知识会加训融合到大模型。尤其当下，在 GPT-4o 效果一枝独秀的前提下，其他无论是通用模型，还是基于垂类模型都被 GPT-4o 吊打，一个典型的对比就是 GPT-4o 加持的Code Colpliot的代码能力一点都不逊色与Devins等智能体工程师。
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
程序员光剑
07-08 1083
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
【AI大模型企业级应用开发实战】企业级应用集成AI大模型的架构，包括大模型概述、集成实践、技术架构设计及应用场景《AI大模型应用架构（ALLMA）白皮书》
程序员光剑
06-30 9272
随着大模型浪潮的兴起，生产力将发生质的变化，从而引发生产力和生产关系的重塑。随着模型能力的提升和使用成本的降低，基于大模型构建应用将成为主流趋势。然而，应用层能否与大模型高效交互，将成为产品方案探索效率和效果的关键因素。因此，在模型之上的工程架构中，必须构建一套完整的大模型交互管道（Interface），将应用层（Application） 和模型层（Model）进行串联，为诸如Prompt Engineering、Fine-Tuning和模型评估等关键环节提供全面支持，以实现产品方案探索的降本增效 ....
【大模型应用开发 动手做AI Agent】Agent对各行业的效能提升
程序员光剑
05-27 480
人工智能（AI）技术的快速发展，尤其是大语言模型（LLM）的突破，为各行各业带来了巨大的变革机遇。AI Agent作为LLM的典型应用场景，通过将AI能力与特定领域知识相结合，可以大幅提升各行业的效率和生产力。本文将深入探讨AI Agent的核心概念、关键技术，以及如何将其应用于不同行业，实现效能提升。AI Agent是一种基于人工智能技术，能够自主执行任务、与环境交互的智能实体。它具备感知、推理、决策和执行等能力，可以根据设定的目标和规则，在动态环境中采取最优行动。
大语言模型应用指南：交互格式
程序员光剑
07-09 689
随着人工智能技术的快速发展，大语言模型（Large Language Models，LLMs）已经成为了自然语言处理领域的重要突破。这些模型能够理解和生成人类语言，为各种应用场景提供了强大的支持。然而，要充分发挥大语言模型的潜力，我们需要深入理解并掌握与之交互的最佳实践。本文将重点探讨大语言模型的交互格式，为开发者和用户提供全面的应用指南。在这个快速发展的领域中，交互格式的设计和实现直接影响着用户体验和模型性能。
多模态大模型：技术原理与实战 在LLM时代，对软件研发的更多思考————从软件 1.0 迈向软件 2.0 时代
程序员光剑
06-29 870
软件1.0 vs 软件2.0 - **软件1.0**：传统的软件开发方法，通过人工编写明确的**程序逻辑和规则**来实现功能。 - **软件2.0**：利用AI和机器学习技术，通过**训练模型来"学习"如何执行任务，而不是显式编程**。在这种范式下，软件的行为更多地**由数据和学习算法决定，而不是固定的规则。**
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 544
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
音频3A——初步了解音频3A
山河君的分享博客
09-23 1342
在日常的音视频通话过程中，说话的双端往往会面对比较复杂的场景，比如：环境存在较大的噪声，扬声器需要开启外放导致麦克风重新采集到，麦克风固定而人物需要走来走去等等的场景。而为了面对这些复杂的场景，音频通话不得不引入算法对于声音进行预处理，再进行发送给远端。而3A是对于音视预处理的三种算法的统称。AEC（Acoustic Echo Cancellation）：声学回声消除AGC (Automatic Gain Control)：自动增益控制。
【人工智能】多模态AI：如何通过融合文本、图像与音频重塑智能系统未来
最新发布
qq_42978535的博客
09-26 695
是一项令人兴奋的新兴技术，旨在通过结合文本、图像和音频等多种数据模态，打造更加智能化和人性化的系统。随着深度学习和自然语言处理（NLP）的飞速发展，多模态AI正在为下一代智能系统奠定基础，使它们能够同时理解多种感官信息，并做出更加复杂的决策。例如，在自动驾驶系统中，车载AI不仅需要分析摄像头图像，还需要理解驾驶员的语音指令，同时处理雷达和音频信号。我们将文本和图像的嵌入向量通过拼接的方式融合。在本篇文章中，我们将深入探讨多模态AI的工作原理、技术挑战，以及如何通过代码示例来实现文本、图像与音频的融合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值