Datasets for Large Language Models: A Comprehensive Survey

已于 2024-05-08 15:02:57 修改
阅读量286 收藏
点赞数
分类专栏： Survey Paper LLM Daily 文章标签： 语言模型 人工智能 自然语言处理
于 2024-03-17 12:12:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136779525
版权
LLM Daily 同时被 3 个专栏收录
1273 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
Survey Paper
262 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

本文深入探讨了大型语言模型（LLM）数据集，包括预训练语料库、指令微调数据集、偏好数据集和评估数据集。调查涵盖了444个数据集，涉及8种语言和32个领域，总计超过774.5 TB的预训练数据和7亿个实例。研究突出了数据集在LLM发展中关键作用，同时指出了当前挑战和未来发展方向，如数据多样性和质量评估。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《Datasets for Large Language Models: A Comprehensive Survey》的翻译。

大型语言模型的数据集：一项综合调查

摘要

本文对大型语言模型（LLM）数据集进行了探索，这些数据集在LLM的显著进步中发挥着至关重要的作用。数据集作为基础基础设施，类似于支撑和培育LLM发展的根系统。因此，对这些数据集的检查成为研究中的一个关键课题。为了解决LLM数据集目前缺乏全面概述和彻底分析的问题，并深入了解其现状和未来趋势，本调查从五个角度对LLM数据集中的基本方面进行了整合和分类：（1）预训练语料库；（2） 指令微调数据集；（3） 偏好数据集；（4） 评估数据集；（5） 传统的自然语言处理（NLP）数据集。该调查揭示了当前的挑战，并指出了未来调查的潜在途径。此外，还提供了对现有可用数据集资源的全面审查，包括444个数据集的统计数据，涵盖8个语言类别和32个领域。来自20个维度的信息被纳入数据集统计。所调查的预训练语料库的总数据量超过774.5 TB，其他数据集的实例数超过700M。我们的目标是展示LLM文本数据集的整个面貌，为该领域的研究人员提供全面的参考，并为未来的研究做出贡献。相关资源可访问

了解本专栏 订阅专栏 解锁全文 超级会员免费看
论文翻译：arxiv-2024.Datasets for Large Language Models: A Comprehensive Survey
CSPhD-winston的博客
11-06 49
本文着手探索大型语言模型（LLM）数据集，这些数据集在LLM的显著进步中扮演着至关重要的角色。数据集作为基础架构，类似于根系，支撑并滋养着LLM的发展。因此，对这些数据集的检查成为了研究中的关键话题。为了解决目前缺乏对LLM数据集全面概述和深入分析的问题，并洞察它们的现状和未来趋势，本调查从五个角度整合并分类了LLM数据集的基本方面：（1）预训练语料库；（2）指令微调数据集；（3）偏好数据集；（4）评估数据集；（5）传统自然语言处理（NLP）数据集。本调查揭示了当前的挑战，并指出了未来研究的潜在途径。
Evaluating Large Language Models: A Comprehensive Survey
c_cpp_csharp的专栏
11-07 656
大型语言模型（LLM）在广泛的任务范围内表现出了非凡的能力。它们引起了人们的极大关注，并被部署在许多下游应用程序中。然而，类似于一把双刃剑，LLM也存在潜在风险。他们可能会遭受私人数据泄露或产生不恰当、有害或误导性的内容。此外，LLM的快速发展引发了人们对在没有足够保障的情况下可能出现的超级智能系统的担忧。为了有效利用LLM能力并确保其安全和有益的发展，对LLM进行严格和全面的评估至关重要。本次调查旨在为LLM的评估提供一个全景视角。我们将LLM的评估分为三大类：知识和能力评估、对齐评估和安全评估。
【LLM数据集综述】Datasets for Large Language Models: A Comprehensive Survey
Arachis_X的博客
03-09 1991
本文开始探索大型语言模型（LLM）数据集，这些数据集在 LLM 的显著进步中发挥着至关重要的作用。这些数据集是基础架构，类似于支撑和培育 LLM 发展的根系统。因此，对这些数据集的研究成为研究中的一个重要课题。预训练语料库；指令微调数据集；偏好数据集；评估数据集；传统自然语言处理 (NLP) 数据集。调查揭示了当前面临的挑战，并指出了未来研究的潜在途径。此外，还对现有的数据集资源进行了全面回顾，包括来自444 个数据集的统计数据，涵盖8 个语言类别和32 个领域。数据集统计包含。
Large Language Models on Graphs: A Comprehensive Survey
c_cpp_csharp的专栏
01-29 814
大型语言模型（LLM），如ChatGPT和LLaMA，由于其强大的文本编码/解码能力和新发现的涌现能力（如推理），正在自然语言处理方面取得重大进展。虽然LLM主要设计用于处理纯文本，但在许多现实世界场景中，文本数据以图形的形式（例如，学术网络和电子商务网络）与丰富的结构信息相关联，或者图形数据与丰富的文本信息配对的场景（例如，具有描述的分子）。此外，尽管LLM已经显示出其纯基于文本的推理能力，但这种能力是否可以推广到图场景（即基于图的推理）还没有得到充分的探索。
大模型数据集全面综述：770+TB大小涵盖预训练、微调、偏好对齐、评估、特定任务！
m0_59163425的博客
05-14 5699
发布时间：“X”表示未知月份。公开与否：“All”表示完全开源；“Partial”表示部分开源；“Not”表示不开源。“许可证”表示该语料库遵循某种协议。如果该语料库是基于其他语料库构建的，那么源语料库的许可证也必须遵守。
笔记-《A Survey of Large Language Models》- 尾声
Working harder, getting stronger!
03-27 2278
Sutton, S.Schuh, K.Lomeli, L.Mann, E.Perez, N.5547–5569.[Online].[152] J.Austin, A.Odena, M.I.Nye, M.353–355.[177] P.V.ACM, 2022.559–578.Drain, S.Fort, D.4582–4597.Yih, Eds.8410–8423.[240] Q.Zhang, M.Chen, A.He, Y.Cheng, W.
大型语言模型综述，非常详细，格局打开！A Survey of Large Language Models
大模型天花板
04-18 9260
从图灵测试开始讲起，人类一直在探索用机器掌握语言智能的方法。在过去20年，语言模型得到了广泛研究。从统计语言模型到了基于神经网络的语言模型（LSTM等）。最近这些年，通过在大规模语料库（数据集）上对Transformer模型的预训练，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面显示出了很强的能力。
A Survey of Large Language Models for Graphs
c_cpp_csharp的专栏
09-16 263
图形是一种重要的数据结构，用于表示实际场景中的关系。先前的研究已经确定，图神经网络 （GNN） 在以图为中心的任务（例如链接预测和节点分类）中提供了令人印象深刻的结果。尽管取得了这些进步，但数据稀疏和泛化能力有限等挑战仍然存在。最近，大型语言模型 （LLM） 在自然语言处理中受到了关注。他们在语言理解和总结方面表现出色。将 LLM 与图学习技术集成作为提高图学习任务性能的一种方式引起了人们的兴趣。
Continual Learning of Large Language Models: A Comprehensive Survey
c_cpp_csharp的专栏
07-15 1242
有效和高效地将静态预训练的大型语言模型（LLM）适应不断发展的数据分布的挑战仍然是主要的。当为特定需求量身定制时，经过预训练的LLM在先前的知识领域中经常会出现明显的性能下降，这种现象被称为“灾难性遗忘”。尽管在持续学习（CL）领域进行了广泛的研究，但这个问题在LLMs领域呈现出新的表现形式。在本次调查中，我们全面概述并详细讨论了CL背景下LLMs的当前研究进展。
2.4 大模型数据基础：预训练阶段数据详解 ——《带你自学大语言模型》系列
陌北有棵树的博客
08-10 1443
近年来，语言模型已经完成了向“预训练+微调/提示”范式的迁移，在这个范式下，预训练阶段要解决的关键问题是借助大规模语料资源，抽取那些语言的共性结构和关系，而微调阶段要解决的是如何借助小规模的专用数据集，进行模型能力的“垂直下沉”的问题，前者广，后者专。但无论如何，模型能力本质上是来源于所见过的训练数据，因此数据工程就变得极为重要。在训练过程中，高质量、大规模、多样化的数据集对于大模型训练至关重要。
2.6 大模型数据基础：大模型评估数据详解
陌北有棵树的博客
09-05 1560
本篇从大模型的评估方法，评估数据集来谈大语言模型的评估，主要侧重于数据集角度。本篇仍然是工具属性较多，整理了大量的评估数据集来源，建议是可以收藏，有需要的时候再看，我也是这样操作的
A COMPREHENSIVE SURVEY ON EVALUATING LARGE LANGUAGE MODEL APPLICATIONS IN THE MEDICAL INDUSTRY
c_cpp_csharp的专栏
09-08 276
自 2017 年 Transformer 架构问世以来，GPT 和 BERT 等大型语言模型 （LLM） 已经取得了长足的发展，凭借其在语言理解和生成方面的高级能力影响了各个行业。这些模型已显示出改变医疗领域的潜力，凸显了专门的评估框架以确保其有效和合乎道德的部署的必要性。这项全面的调查描述了 LLM 在医疗保健领域的广泛应用和必要评估，强调了实证验证的迫切需求，以充分利用它们在增强医疗保健结果方面的能力。
图神经网络和大模型相结合应用的最新综述，2024年最强开始，GNN和LLMs强强联合
L_goodboy的博客
02-04 3312
图神经网络和大模型相结合应用的最新综述，2024年最强开始，GNN和LLMs强强联合
【大语言模型/LLM】全网最全！持续更新！147个大语言模型评估数据集分类归纳整理，内含数据集手册！
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
12-30 2645
自然语言处理是人工智能的一个重要分支。在过去的几年里，我们见证了大语言模型的显著进步，然而，如何对其效果进行全面的评估已成为一个亟待解决的问题。数据集可以为评估和比较它们的表现提供帮助，并且可以测试出模型的弱点。为了指导后续的大模型研究工作并促进该领域的技术进步，本文收集了147个流行的评估数据集，并提出了一种新的分类方法，根据数据集可评测的能力将它们分为六类。此外，我们还归纳了几个常见的评估指标和使用场景。
大语言模型(LLMs)综合调研
xiangxueerfei的博客
11-05 1091
语言是人类表达和通信的一种突出能力，它在儿童早期发展，并在一生中进化。而对于机器，它们不能自然地掌握以人类语言形式理解和交流的能力，除非配备强大的人工智能 (AI) 算法。为了实现这一目标，一直是一个长期的研究挑战，它使机器能够像人类一样阅读、写作和交流。从技术上讲，语言建模 (LM) 是推进机器语言智能的主要方法之一。一般来说，LM 旨在对单词序列的生成似然进行建模，以预测未来（或缺失）标记的概率。统计语言模型 (SLM)，通过统计来预测上下文（ n-gram 语言模型）
Graph+LLM
weixin_44758224的博客
10-15 998
为了打破这一困境，通过一个名为 GraphTranslator 的翻译器连接预训练的 GM 和 LLM，旨在利用 GM 有效地处理预定义任务，并利用 LLM 的扩展接口为 GM 提供各种开放式任务。在本文中，我们旨在探索 LLM 在图机器学习中的潜力，特别是节点分类任务中，并研究两种可能的流程：LLM 作为增强器和 LLM 作为预测器。然后，我们讨论了在图上使用 LLM 的详细技术，包括 LLM 作为预测器、LLM 作为编码器和 LLM 作为对齐器，并比较了不同模型的优缺点。
强化学习 A2C算法
最新发布
tony365的博客
06-13 531
更准确地说，Reinforce 是 基于策略的方法 的一个子类，称为 策略梯度方法。在基于策略的方法中，我们的目标是直接优化策略，而无需使用价值函数。更准确地说，Reinforce 是 基于策略的方法 的一个子类，称为 策略梯度方法。然而，因为我们使用蒙特卡洛采样来估计回报（我们使用整个 episode 来计算回报），所以我们在策略梯度估计中存在显着的方差。然而，因为我们使用蒙特卡洛采样来估计回报（我们使用整个 episode 来计算回报），所以我们在策略梯度估计中存在显着的方差。
大模型工作流Dify面试题及参考答案
大模型大数据攻城狮的专栏
06-12 570
设计一个基于 Dify 的智能摘要与重点提取 Agent，需结合Prompt 工程、模型能力配置和工作流优化，确保对长文本的高效解析和关键信息提炼。1. 明确任务需求与输入输出输入：长文本内容（如文章、报告、会议记录）或文本 URL输出摘要：简洁概括原文核心内容，控制在原文长度的 10%-20%重点列表：分点列出关键数据、结论、行动项等可选：关键词提取、情感倾向分析示例场景输入：一篇 5000 字的行业报告。
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
03-09
### Chain-of-Thought Prompting Mechanism in Large Language Models In large language models, chain-of-thought prompting serves as a method to enhance reasoning capabilities by guiding the model through structured thought processes. This approach involves breaking down complex problems into simpler components and providing step-by-step guidance that mirrors human cognitive processing. The creation of these prompts typically includes selecting examples from training datasets where each example represents part of an overall problem-solving process[^2]. By decomposing tasks into multiple steps, this technique encourages deeper understanding and more accurate predictions compared to traditional methods. For instance, when faced with multi-hop question answering or logical deduction challenges, using such chains allows models not only to generate correct answers but also articulate intermediate thoughts leading up to those conclusions. Such transparency facilitates better interpretability while improving performance on various NLP benchmarks. ```python def create_chain_of_thought_prompt(task_description, examples): """ Creates a chain-of-thought prompt based on given task description and examples. Args: task_description (str): Description of the task at hand. examples (list): List containing tuples of input-output pairs used for demonstration purposes. Returns: str: Formatted string representing the final prompt including both instructions and sample cases. """ formatted_examples = "\n".join([f"Input: {ex[0]}, Output: {ex[1]}" for ex in examples]) return f""" Task: {task_description} Examples: {formatted_examples} Now try solving similar questions following above pattern. """ # Example usage examples = [ ("What color do you get mixing red and blue?", "Purple"), ("If it rains tomorrow, will we have our picnic?", "No") ] print(create_chain_of_thought_prompt("Solve logic puzzles", examples)) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值