大模型驱动的数据治理与数据清洗

AI劳模

于 2024-08-13 09:30:00 发布

阅读量456

点赞数 6

文章标签：人工智能大模型

本文链接：https://blog.csdn.net/2401_85373396/article/details/141123681

版权

导读近年来，大模型技术热潮中对数据质量的要求提升到了一个新的高度。与此同时，人们也在探索大模型本身能否助力于数据清洗与数据治理等工作。本文将从技术的角度展望大模型驱动的数据治理技术，并分享复旦大学在此领域的一些研究热点。

主要内容包括以下几个部分：

以数据为中心的人工智能
大模型预训练中的数据工程
大模型驱动的数据治理技术
总结与展望

以数据为中心的人工智能

以数据为中心的人工智能，这一理念在 2021 年由吴恩达教授提出，强调了在构建 AI 系统时，对数据的系统化工程处理的重要性。与过去以模型为中心的方法相比，以数据为中心的方法更加注重数据的质量、多样性和治理流程。在早期的机器学习和深度学习时代，我们主要关注特征工程、模型设计和参数制定等方面，但如今，数据的质量和治理已成为决定 AI 系统性能的关键因素。在大模型时代，我们不再需要过多关注特征工程和模型层面的变动，而是将更多的精力投入到数据的治理上，即如何通过有效的数据管理和迭代，使数据发挥更大的价值。

数据是 AI 的原油，AI 系统的成功在很大程度上取决于数据的质量，这一点被广泛认同。一个 AI 系统 80% 的工作量集中在前期的预训练数据准备和后期的数据飞轮迭代上。

对于如何定义优质的数据，张博士的论文中提出了几个关键维度：覆盖范围广、维度多样、时效性强、精度高以及合规性好。这些维度不仅反映了小模型对数据的要求，在大模型预训练时代更是显得至关重要。我们需要的是具有多样性和泛化能力的数据，以确保AI 模型在各种场景下都能表现出色。

在以数据为中心的 AI 框架中，数据开发通常分为三个阶段：训练数据的开发、推理数据的开发和数据维护。训练数据的开发包括数据的收集、标注和预处理等步骤。推理数据的开发涉及训练样本评估与提示工程等。数据的维护则关注于当后续不断有新数据产生时，对于数据的理解与质量管控，以及数据的存储和检索等任务。以上是以数据为中心的人工智能的整体思路。

大模型预训练中的数据工程

在大模型的预训练过程中，数据工程的工作量显著增加。以 GPT 为例，实际训练中使用的数据涵盖了多个层面，我们需要收集大量的语料库，其原始大小为 45TB，清洗完之后剩下 175GB。此外还融合丰富的代码数据及上万个 Prompt 任务参与训练。实际上，成本及创意主要在数据准备上，对于 Transformer 技术的运用，大家的使用方法都大同小异。

对于某些特定领域的表达与通用领域存在差异时，如专业术语或符号，我们可能需要进行词表的扩充，以确保模型能够准确地理解这些表达。

纵观 GPT 的发展历史，从 2018 年到 2020 年，我们不难发现，随着模型参数的逐步增加，数据规模也在同步扩大。例如，GPT-1 虽然只有 1 亿多参数，但它已经使用了 4.8GB 的未过滤数据。到了 GPT-2，参数数量增至 15 亿，数据规模扩大了 10 倍，并且这些数据还经过了人工过滤，进一步提升了数据质量。到了 GPT-3，算力提升了近百倍，数据量也大幅增加，从 45TB 的原始数据中过滤出了 570GB 的数据。因此，尽管参数庞大和算力强大是 GPT 模型的显著特点，但背后的核心在于海量的数据输入。没有足够的数据支持，再强大的算力也难以发挥作用，正所谓“巧妇难为无米之炊”。数据的丰富性和质量对于模型的训练至关重要。另一方面，我们观察到整个模型的架构其实并未发生显著变化。真正在起作用的是 scaling law（伸缩法则），即随着模型规模和数据量的增加，模型的性能也会相应提升。

当我们深入探究时，会发现数据来源的多样性和合适的数据配比同样至关重要，这些因素往往决定着模型的成败。我们所熟知的 GPT，以及其他大型模型如 LLaMA，它们的数据都是多维度的。除了高质量的百科、书籍、期刊等数据外，互联网上的各类数据，如 Common Crawl 和 Reddit 链接等，也是不可或缺的。我们不能仅仅依赖高质量的数据，而忽视互联网上更多样化的数据资源，这些数据共同构成了完整的人类语言体系和知识体系。此外，随着 Sora 等技术的兴起，多模态数据也迎来了新的高潮。多模态数据，尽管主要是图文结合，但也来源于众多不同的渠道，是从各种地方精心收集的。

其实，Sora 的强大也源于其预训练数据的精心准备，其训练数据包含了三个核心组成部分：首先是不同比例的视频图像，其次是帧级的画面文本描述，最后是视频内容的总结。这种三维度的数据结合，构成了 Sora 独特的训练基础。

在构造这一训练数据时，有几个核心的数据工程策略发挥了关键作用。首先是数据来源的广泛收集，Sora 团队不仅从 YouTube 等大量视频网站上获取了丰富的视频资源，还涵盖了优酷等国内平台以及各类体育视频，确保了数据的多样性和广泛性。不仅如此，Sora 的数据处理并非简单地拿来就用。原始视频和对应文本往往需要进一步完善，Sora 利用其自身的 GPT 4v 和 Dolly three 等技术进行数据层面的深度加工，如为画面生成对应文字，再根据这些文字生成新的画面，形成了一个迭代的图文同步过程。此外，合成数据多也是当下预训练大模型一个显著的特点。据有关机构预测，到 2025-2030 年现有的真实数据资源将基本耗尽。大型模型对数据的需求极其庞大，数据消耗速度惊人。此外，许多真实数据涉及隐私问题，不能随意使用，因此未来依赖合成数据不可避免。据猜测，Sora 可能使用了 3D 引擎或 UE 5 合成大量视频进行训练，这从其生成画面中的某些特点可以得到佐证。

近期有文章指出，各大科技巨头都在为 AI 大模型收集和生成合成数据而努力。这意味着，除了 Sora，其他公司也在积极寻求数据解决方案。因此，我们不应将数据层面的工作视为低级劳动，实际上，这是一项至关重要的任务，需要投入大量精力，甚至可以说，80% 的工作量都应集中于此。以 OpenAI 为例，他们进行了大量数据转录工作。由于部分数据存在合法性问题，他们不能直接使用，因此采取了转录的方式，包括转录视频平台和播客上的有声视频数据，并在转录过程中进行了敏感信息处理。此外，有一种观点认为，高质量数据是生成式 AI 的“黄金”。大模型的创新能力主要来源于组合式创新，即在看过足够多的组合方式后，根据所见内容生成新的组合。这种创新方式，或许可以被看作是一种新式的“抄袭式创新”。然而，整体的框架叙述方式仍然以模仿为基石。因此，包括 Meta 在内的其他公司为了追赶行业趋势，也在大量购买版权，并修改隐私保护条例，以确保数据的合法性。未来的合成数据必将成为主流。

在探讨大模型行业落地时，我们可以遵循一个整体的框架，这个框架依然是以 AI 为中心的数据工程的三个核心步骤，训练数据开发阶段的数据准备、推理数据开发阶段的工作以及数据维护阶段的任务。在训练数据开发阶段，我们需要进行数据的收集、必要的标注、相关的数据清洗，以及对数据量的调整，比如缩减过多的数据或增强较少的数据。

进入推理数据开发阶段，我们关注的是与提示工程相关的数据。例如，对 prompt 进行微调时，我们需要准备相应的微调数据以进行有效的评估。此外，后续的数据理解、数据质量保证等工作也是不可或缺的环节。

以我们实验室参与的招投标领域大模型项目为例，项目的核心目标是利用招投标数据训练一个大模型，以实现招投标文件关键点的识别、文件的编写、审核以及评估。尽管这些应用集中在招投标行业，但它们实际上代表了多个领域中的通用需求：信息抽取、文档编写、内容审核和质量评估。在数据准备阶段，我们面临了诸多挑战。首先，我们获得了大量混合图表的 PDF 文件，对其进行了严格的质量筛选，包括语言层面、统计层面和关键词层面的考量，去除重复和不必要的文件，去除隐私保护数据，以及词元化处理。

综上所述，以数据为中心是大模型的特色。做好预训练数据的数据治理是预训练大模型成败的关键一环。大模型行业落地的预训练、微调等各个环节都需要数据治理。

大模型驱动的数据治理技术

我们认识到大模型对数据治理的需求。然而，这种关系并非单向的。实际上，大模型凭借其强大的数据认知能力，也有潜力在数据治理方面发挥重要作用。因此，大模型不仅需要数据治理来优化其性能，而且它本身也能成为数据治理的重要工具。接下来介绍一下行业背景。

在当前数字化迅猛发展的时代，数据治理的场景变得日益复杂，其难度也随之急剧增加。我们面临的挑战主要体现在四个关键方面。首先，数据治理涉及多个行业和领域，每个领域都有其独特的数据标准、规范和要求，数据治理的策略和流程需根据每个行业的特性来定制，无法简单地复制粘贴。其次，随着技术的进步和应用的日益广泛，数据的形式也更加丰富多样。从传统的结构化数据到现在的非结构化数据、多模态数据等，数据治理的范围已经大大扩展。尤其对于训练行业大模型而言，处理各种模态的数据变得至关重要。再者，数据治理的规划变得复杂且琐碎。隐私保护、数据安全、数据清洗、合规性检查以及数据的存储、检索和使用等都是数据治理的重要组成部分，然而，这些工作不仅需要专业的技术和知识，还需要实时跟踪不断变化的政策和要求。在动态复杂的市场环境下，特别是在数据要素市场日益活跃的今天，数据治理的准确性和高效性更是关系到数据能否被有效利用和交易。

另一个研究背景为，小模型难以应对日益复杂的数据治理需求。以错误数据的发现和修复为例，现有的方法往往局限于数据库或数据仓库中的表格数据，依赖完整性约束发现数据间的矛盾，或与外部的数据源进行比对排查，或将其建模为有监督任务，如专门针对城市（city）或邮编（zip code）设计机器学习模型进行修正和二次判断，但整个流程的适用性仍然有限。

在多源数据融合和规范化方面，传统的小模型也面临类似挑战。早期的解决方案包括规则引擎或专家系统，通过定义规则或利用专家知识来进行数据融合，比如字符串的相似度达到多少，或者建立词表进行对应。此外，还有将问题建模为语义匹配任务，利用表示学习、度量学习和对比学习等方法来度量字段之间的相似度，并训练监督模型以进行匹配。然而，这些方法同样存在局限性，它们通常需要大量的标注数据或提供足够多的专家知识。

传统的合规性检查，如建筑行业的图纸审查，通常依赖于经验丰富的专家人工进行细致的检查，对照着厚厚的国家标准和行业标准，逐项核实是否符合要求。这种方法不仅费时费力，而且难以适应大规模和高效率的需求。

为了应对这些挑战，我们逐渐引入了基于规则、统计和机器学习的方法。这些方法虽然能够减轻人工负担，但同样需要建立全面的风险点模型并进行预判。例如，在隐私数据采集流程中，某网站开发了基于欧盟通用数据保护条例（GDPR）的数据合规检查系统。这个平台允许外部开发人员将 GDPR 中的合规性规则写到这个系统内去进行对应的检查，对网站等在线平台的数据收集、使用和保护进行监管。然而，即使这样的平台已经实现了高度集成化，但仍然难以适应所有场景。

在这里，大模型的优势变得尤为明显。大模型之所以具有带来重大革新契机的潜力，主要源于其四大显著优势。

首先，大模型通过海量的数据训练，积累了丰富的知识储备，这使得它能够理解和认知各类形式的数据，并具备一定的数据模式理解能力。这种能力使得大模型在处理复杂和多样化的数据时表现出色。

其次，大模型能够基于领域语料进行预训练，快速掌握领域知识。通过少量的数据指令微调，大模型能够迅速适应不同的领域数据治理任务。这种预训练加微调的方式，已经成为大模型落地应用的常见策略，为数据治理提供了极大的便利。

第三，大模型能够应对模态丰富的数据。在如今多模态大数据盛行的时代，大模型展现出了卓越的性能。它能够处理包括文本、图像、音频等在内的多种模态数据，为数据治理提供了更广泛的可能性。

最后，大模型的 Agent（自治智能体）功能使得自动化数据操控和数据治理规划成为可能。Agent 本身具备规划和策划的能力，结合大模型的海量数据和模式理解能力，可以实现复杂场景的决策和规划任务。尽管目前这一功能需要依赖真正的大规模大模型，但未来随着技术的不断进步，我们希望大模型能够适配或者胜任更多复杂场景的决策和规划任务。

目前大模型驱动的数据治理技术研究才刚刚起步。如上图中的两个例子，左侧为通过向大模型提供两个表格，并辅以简短的说明，大模型便能够识别出这两个表格中是否存在数据不一致或错误，并据此进行错误检测；右侧为大模型能够根据给定的示例，直接判断数据中是否存在潜在错误。可以看到，目前大模型在数据治理领域的应用还是相对基础的。

然而，要充分发挥大模型在数据治理中的作用，我们面临着诸多挑战。首先，我们需要构建一个安全可信的大模型，这涉及到训练语料的质量控制、价值对齐机制的建立以及结果校验方式的完善。为了确保大模型的有效性，我们需要提供高质量的训练数据，并设计合理的价值判断标准和结果验证方法。其次，我们需要研究如何使大模型更好地助力真实场景的数据清洗工作，这包括利用大模型对不同模态、不同形式的领域数据进行错误修正、补全和融合等处理。同时，我们还需要关注大模型在合规性检查方面的应用，让大模型高效地动态学习和对齐政策规定，并准确地完成合规检查。最后，我们需要探索如何提升大模型对数据治理的决策规划能力。

总体来说，安全可信、数据清洗、合规检查、方案规划是构建以大模型为驱动的数据治理的四个主要研究内容。然而，这些内容背后隐藏着诸多科学问题和挑战，需要我们深入探索。首先是大模型的安全治理，如何保障数据层面的科学有效；然后是持续对齐，数据治理的政策是不断变化的，怎么让大模型对齐到数据治理的机制上；第三是决策规划问题，大模型本身的决策规划能力是有待进一步提升的，尤其在数据治理的场景下，怎么样让它变得越来越好。

接下来，分享一下我们研究团队近期在几个关键领域的工作进展。

首先是基于大模型驱动的属性值规范化。在现有的知识图谱和数据库中，我们发现了各种属性的多样化表达，比如“gender”（性别）这一属性，尽管它本质上只分为男性和女性，但在我们的数据库中，我们发现了仅“男性”这一属性就有十几种不同的英文表述方式。手动由专家枚举所有这些别名是一项极为耗时且繁琐的任务，而大模型凭借其卓越的语言处理能力，能够轻松地识别出这些相似的词汇，可极大提高属性值规范化的效率。

第二个是地理数据清洗的工作。地址信息在现代社会中至关重要，无论是快递配送、外卖服务，还是公司注册地址、政府信息登记等，都依赖于准确和一致的地址数据。然而，由于个人的表述习惯和参照物不同，同一个地点可能有多种不同的描述方式。在这种情况下，大模型的语言理解能力为我们提供了有力的支持，帮助我们更有效地清洗和整合这些地理数据，在与地理信息相关的应用上具有较大的落地价值。然而，我们也意识到，仅仅依靠大模型是不够的，需要结合地理信息中的经纬度计算技术，以更精确地处理地理位置信息。毕竟，大模型本质上是一个语言模型，它无法完全胜任地理空间位置的计算任务，比如“某某路口向西 100 米”这样的描述，仍需通过 GIS 技术进行处理。

我们与科大讯飞合作开展了一项关于设计图纸合规性检查的项目。该项目旨在处理大量的国家规范和企业规范，确保图纸的设计符合这些标准。我们利用大模型作为离线引擎，迅速理解并解析这些规范，将它们转化为易于执行和审查的规则。通过与图谱技术的结合，更高效地执行合规性检查。这一技术的应用为设计师们带来了便利。如今，当设计师在设计楼宇时，他们可以即时询问特定部分（如窗台）是否符合国家标准，系统会迅速列出或检索到相关的标准信息。

我们还探索了大模型在视频流多模态实体链接方面的应用。以直播带货为例，各种商品和品牌的表达方式繁多且差异巨大。我们利用大模型的强大能力，将这些看似千差万别的数据有效地关联起来，准确识别出主播正在推销的具体商品。这项技术为观众带来了极大的便利，他们可以在直播中精准定位到自己感兴趣的商品，并在相应时刻获得提醒，从而节省了观看时间。