为什么需要合成数据进行机器学习

为什么需要合成数据进行机器学习

一、说明

   数据是人工智能的命脉。如果没有高质量的、具有代表性的训练数据，我们的机器学习模型将毫无用处。但是，随着更大的神经网络和更雄心勃勃的人工智能项目对数据的需求越来越大，我们面临着一场危机——现实世界的数据收集和标记根本无法扩展。

   在这篇文章中，我将讨论围绕真实世界数据的关键挑战，以及为什么合成数据对于开发高性能、稳健和合乎道德的人工智能系统至关重要。我还将分享一些生成和使用合成数据来训练大型语言模型 （LLM） 的最佳实践。

二、数据缩放问题

   让我们首先了解为什么真实世界的数据会遇到可扩展性问题。现代神经网络是数据饥渴的野兽——像 GPT-4 这样的大型语言模型是在数十万亿个文本参数上训练的。图像分类模型需要数百万个标记样本才能达到人类水平的性能。随着我们向多模态、多任务模型发展，数据需求将继续激增。

   不过，真实世界的数据不会长在树上。收集足够大的高质量、代表性数据集来为这些模型提供数据的成本非常高：

   数据收集是手动且缓慢的——网络抓取、调查、传感器数据等需要大量的人力和基础设施。组装数据集可能需要数千小时，AI 模型可以在训练过程中在几分钟内完成这些数据集。
数据标记需要大量的人工审查——图像、文本、音频——几乎所有数据都需要某种形式的手动标记或注释，然后才能用于监督训练。例如，自动驾驶汽车可能需要数百万张具有精确像素级分割的图像，而这几乎是不可能的手动工作。
   专用数据尤其稀缺 — 虽然存在像 ImageNet 这样的通用数据集，但大多数业务应用程序都需要利基的专用数据，而这些数据甚至更难大规模获取和标记。
   隐私和法律限制限制了访问——从个人身份信息到版权问题，由于隐私法或专有限制，现实世界的数据通常无法在组织之间自由共享和重复使用。这极大地阻碍了人工智能领域的合作和创新机会。
很明显，现有的获取训练数据的方法对于大型神经网络和雄心勃勃的现实世界人工智能应用程序时代来说是完全不够的。运行更大的模型或解决更棘手的问题将需要比我们使用当今的手动流程实际收集的任何东西都大多个数量级的数据集。

   如果没有可扩展的数据问题解决方案，人工智能的进步将开始在许多重要的应用领域碰壁。幸运的是，合成数据和模拟提供了一条前进的道路。

三、合成数据的前景与进展

   合成数据是机器生成的数据，它模仿真实世界数据的统计属性。这个想法不是手动收集和标记数据，而是以编程方式自动生成模拟数据集。

   生成建模的最新进展使得跨图像、文本、语音、视频和传感器数据等模态合成越来越逼真的模拟数据成为可能。论文和项目呈指数级增长，证明了这些生成合成数据技术的扩展能力。

   是什么让合成数据在解决人工智能中的数据缩放问题方面如此有希望？
它是自动化的 — 合成数据管道可以在配置后自动生成任意大的数据集，而无需任何额外的人工工作。这使得数据实际上变得无限。
它是可定制的——合成数据的每个方面都可以通过编程方式进行控制，从而可以轻松调整以匹配真实世界分布的统计数据。想要更多罕见的极端情况的例子吗？这是对数据生成器的简单调整。
   它是可共享和可重用的——人工数据没有隐私限制，可以自由共享、重用和混合以实现协作。这也允许创建基准数据集，整个社区可以围绕这些数据集联合起来并推动进展。
   它是多用途的——相同的合成数据生成管道通常可以创建针对不同下游问题定制的训练数据，而无需进行太大更改。这使得扩展到新的用例变得容易。
   它既快速又便宜——大多数合成数据技术的运行速度比实时快得多，同时利用 GPU 等备用计算能力。生成更多数据的边际成本基本上为零。
合成数据的有效性已在医学成像、自动驾驶、药物发现、推荐系统、金融、机器人和自然语言处理等应用中得到证明。几乎每个与数据稀缺作斗争的行业都会从中受益。

   随着目前人工智能的整体发展速度呈指数级增长，生成模型的创新可以迅速转化为更强大、更经济的合成数据。这是一个正反馈循环，最终仅受计算能力的约束。

   因此，在未来几年，合成数据将成为许多人工智能系统训练数据的主要来源。但这还不像启动发电机并获得完美的训练组那么简单。仍然需要最佳实践…

四、将合成数据与 LLM 结合使用的最佳实践

   GPT-4/LLaMA-2/Gemini 1.5 等大型语言模型 （LLM） 在训练期间基本上会摄取无限的文本流。在这种规模上，跨不同领域的收集和标记足够的真实世界训练数据是完全不可行的。因此，合成文本数据至关重要，但仍需要勤奋才能有效。

   以下是在训练大型自然语言模型时合成数据的一些核心最佳实践：

• 对真实数据进行基准测试

   合成数据的根本挑战是确定它保留了真实数据的统计本质。如果不能准确模拟长程依赖性等复杂性，一旦部署到实际任务中，可能会严重降低模型性能。

   因此，我们必须通过在合成数据集上训练模型并与真实世界的数据进行交叉验证，对合成数据集进行广泛的基准测试。如果我们能够匹配甚至超过专门在真实数据上训练的模型所达到的指标，我们就可以验证质量。然后，数据生成器的改进可以专注于提高这些基准的性能。

• 与真实数据融合

   大多数语言数据管道仍然至少包含一部分真实示例。虽然比率各不相同，但根据当前公布的基准，20-30%往往是一个有用的大致目标。这个想法是，真实的例子提供了一个稳定训练的锚点。

   这种混合可以在多个层面上发生，从将真实示例明确混合到最终数据集中，到使用较小的真实数据集在大规模合成生成之前对数据生成器参数进行定底。

• 按元数据分层

   现代 LLM 在具有大量元数据（作者、主题、日期、标题、URL 等）的数据集上进行训练。这些补充数据对统计关系进行编码，这些统计关系对于许多下游应用至关重要。

   因此，元数据分层对于高质量的合成文本数据很重要。在可能的情况下，应对元数据属性的分布进行基准测试和匹配。生成没有上下文的独立段落会限制模型的能力。

   至少，元数据（如新闻文章和科学论文的时间框架）往往是通过合成生成管道进行编码的重要分层变量。

• 模型迭代细化

   数据生成器应根据基准性能的反馈和模型训练期间观察到的错误进行迭代更新。在尝试捕获复杂的长距离属性时，发电机架构非常重要。

   如果我们发现语言模型反复与人类干净处理的某些类型的段落结构作斗争，那么更新生成器以更好地在合成分布中暴露这些结构将提高下游模型的质量。

   这种以编程方式优化数据本身以指导模型功能的能力是合成数据所独有的，并且非常强大。它创建了一个反馈循环，可以引导至其他无法达到的性能水平。

• 扩大多样性

   对合成文本数据的一个持续问题是缺乏多样性，从而导致偏见放大等问题。复杂的生成模型旨在捕获分布，但可能会遗漏长尾的细微差别。

   通过词汇、语义和句法多样性的指标积极分析合成数据管道，然后迭代调整有助于避免这些陷阱。我们还可以通过直接调节敏感元数据的生成来程序化地促进多样性，以更好地反映现实世界的异质性。

   这些最佳实践共同有助于确保合成文本数据大规模地提高而不是损害语言模型的质量，同时避免常见的陷阱，例如过度拟合生成器的统计怪癖。

五、通过合成数据释放创新

   高质量的合成数据为人工智能的进步开启了一个充满潜力的世界，而这些进步以前受到数据稀缺的阻碍。几乎每个现代深度神经网络都渴望获得更多数据——合成生成提供了无限的资源来养活这些野兽。

   除了支持更大更好的模型外，随时可用、可定制的训练数据还可以通过允许更快速的原型设计来加速研究和应用。想法可以快速测试和迭代，而不是等待数月来收集和标记真实世界的数据。

   合成数据可实现开放、协作的数据集，从而促进更广泛的参与。具有可免费使用的培训资源的公共基准比锁定在组织内部的孤立的现实世界数据集更能促进创新和多样性。

   我们正处于合成数据革命的边缘，预计在未来十年中，在模拟数据的支持下，语言、视觉、机器人、医疗保健等领域将取得爆炸性进展。可扩展性瓶颈正在消退，人工智能能力将大幅扩展，从而释放出新的可能性。

   伟大的综合伴随着巨大的责任。虽然合成数据为人工智能的进步提供了巨大的潜力，但它并没有消除围绕道德、隐私、问责制等方面的考虑，我在这里没有讨论，但有必要在其他地方进行广泛的分析。我们必须负责任地追求进步。

   尽管如此，人工智能正在达到数据基础的转折点。我们必须在合成能力方面进行大量投资，以实现机器智能的下一个阶段。构建这些无限的数据引擎将在未来几年推动各行各业的突破。现在是开始的时候了。