大模型时代：数据质量管理

最新推荐文章于 2025-02-07 14:10:38 发布

和老莫一起学AI

最新推荐文章于 2025-02-07 14:10:38 发布

阅读量1.2k

点赞数 16

文章标签：面试职场和发展人工智能产品经理语言模型 ai 大模型

本文链接：https://blog.csdn.net/2401_85373691/article/details/144736272

版权

大模型的三要素之一便是数据，没有数据作为基石，就没有大模型的诞生。

大模型的预训练就是，在大规模无标注数据集上进行模型的训练，目标是让模型学习自然语言的基础表达、上下文信息和语义知识，为后续任务提供一个通用的、丰富的语言表示基础（把全网数据都学习一遍）。那么在数据的质量管理就尤为重要了。

一、数据质量管理

数据质量管理主要用来解决“数据质量现状如何，谁来改进，如何提高，怎样考核”的问题。数据质量也是数据治理流程里的核心，关系着后续任务的准确度。

可以说高质量的数据是一切数据应用的基础。对大模型也是如此，高质量的数据，将会获得一个高精准度的大模型。

1.1 数据质量问题产生来源

在进行数据质量管理的时候，首先的一个便是数据质量问题产生的来源。原因有很多方面，比如技术、管理、流程等。造成质量问题的原因通常很复杂。

我看了很多资料，大差不差的：

业务源系统变更

当业务流程或系统发生变更时，如果没有正确地更新数据流程或数据模型，可能会导致数据质量问题。

数据开发BUG

在数据开发过程中，如果存在编程错误或逻辑错误，可能会导致数据不准确或不一致。

物理资源不足

如果处理数据所需的硬件资源（如存储、内存、CPU等）不足，可能会影响数据处理的效率和质量。

基础设施不稳定

如果支撑数据存储和处理的基础设施（如数据库、网络等）不稳定，可能会导致数据丢失或处理错误。

二、如何提高数据质量

当谈到数据质量管理的时候，必须有一个数据质量评估的标准，有了这个标准，才能知道如何评估数据的质量，才能将数据质量量化，并知道改进的方向，以及如何评估改进后的效果。目前业内认可的数据质量标准有如下几类。

（1）准确性：描述数据是否与其对应客观实体的特征一致。举例：用户的住址是否准确；某个字段规定应该是英文字符，在其位置上是否存在乱码。

（2）完整性：描述数据是否存在缺失记录或缺失字段。举例：某个字段不能为null或空字符。

（3）一致性：描述同一实体同一属性的值在不同的系统中是否一致。举例：男女是否在不同的库表中都使用同一种表述。例如在A系统中，男性表述为1，女性表述为0；在B系统中，男性表述为M，女性表述为F。

（4）有效性：描述数据是否满足用户定义的条件或在一定的取值范围内。举例：年龄的值域在0~200之间。另一个枚举的有效性例子是银行的币种代码。

（5）唯一性：描述数据是否存在重复记录。举例：身份证号码不能重复，学号不能重复。

（6）及时性：描述数据的产生和供应是否及时。举例：生产数据必须在凌晨2：00入库到ODS（OperationalData Store，操作数据层）。

（7）稳定性：描述数据的波动是否稳定，是否在其有效范围内。举例：产品质量抽样统计的合格率，不会有超过20%的波动范围。

（8）连续性：描述数据的编号是否连续。举例：有关部门处理环保违法案件，案件的编号必须是连续的。

（9）合理性：描述两个字段之间逻辑关系是否合理。举例：企业注销时间必须晚于注册时间，自然人的死亡时间必须晚于出生时间。

以上数据质量标准只是一些通用的规则，还可以根据客户数据的实际情况和业务要求对其进行扩展，如进行交叉表数据质量校验等。

3.1 数据质量建设

有了数据质量的评判标准，就可以以此作为参考，对数据进行改正，以提高数据质量，那么又是如何进行数据质量标准进行任务化呢？这就是数据质量建设的方法->质量稽核

在数据加工任务中，对产出表按照业务规则，设计一些校验逻辑，确保数据的完整性、一致性和准确性，这是提升数据质量最行之有效的方法。

通常建议你在数据产出任务运行结束后，启动稽核校验任务对数据结果进行扫描计算，判断是否符合规则预期。如果不符合，就根据提前设定的强弱规则，触发不同的处理流程。

如果是强规则，就立即终止任务加工链路，后续的任务不会执行，并且立即发出电话报警，甚至我们要求，关键任务还要开启循环电话报警，直到故障被认领；如果是弱规则，任务会继续执行。

但是存在风险，这些风险会通过邮件或者短信的方式，通知到数据开发，由人来进一步判断风险严重程度。

3.2 大模型赋能数据质量建设

上面是为了提高数据质量，而实施的一些措施。

需要针对每个任务需要根据数据质量评判标准，进行稽核任务编排，在编排完毕之后需要到表字段里进行校验。

整个流程是比较麻烦的，而且如果你不对数据了解，那么想要高质量的数据，则都得把质量标准流程都走一遍。

因此，思考是否可以利用大模型对数据质量进行校验。

根据通用型质量规则数据对大模型微调，并结合知识库的方式设计流程，最后利用微调后的大模型对数据进行稽核。

（1）大模型微调

数据质量标准，是大数据领域的特定数据。

因此，可以把数据质量标准，制作成问答对，对通用大模型进行微调，让它掌握数据质量的标准规则。

一般而言，可以把最为通用的质量标准进行微调。

（2）知识库

数据来自于不同的场景，那么针对数据的评判是不同的。可以把自己业务领域，对数据质量特定的标准进行嵌入知识库方式，给于大模型准确的回答。

最后，利用微调后的大模型 + 知识库的方式对样例数据进行质量稽核。

零基础如何学习AI大模型

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。