大模型时代：数据质量管理

最新推荐文章于 2025-02-07 14:10:38 发布

小天才学习机打游戏

最新推荐文章于 2025-02-07 14:10:38 发布

阅读量1.5k

点赞数 21

文章标签：人工智能学习剪枝算法面试

本文链接：https://blog.csdn.net/m0_59164520/article/details/144543374

版权

大模型的三要素之一便是数据，没有数据作为基石，就没有大模型的诞生。

大模型的预训练就是，在大规模无标注数据集上进行模型的训练，目标是让模型学习自然语言的基础表达、上下文信息和语义知识，为后续任务提供一个通用的、丰富的语言表示基础（把全网数据都学习一遍）。那么在数据的质量管理就尤为重要了。

一、数据质量管理

数据质量管理主要用来解决“数据质量现状如何，谁来改进，如何提高，怎样考核”的问题。数据质量也是数据治理流程里的核心，关系着后续任务的准确度。

可以说高质量的数据是一切数据应用的基础。对大模型也是如此，高质量的数据，将会获得一个高精准度的大模型。

1.1 数据质量问题产生来源

在进行数据质量管理的时候，首先的一个便是数据质量问题产生的来源。原因有很多方面，比如技术、管理、流程等。造成质量问题的原因通常很复杂。

我看了很多资料，大差不差的：

业务源系统变更

当业务流程或系统发生变更时，如果没有正确地更新数据流程或数据模型，可能会导致数据质量问题。

数据开发BUG

在数据开发过程中，如果存在编程错误或逻辑错误，可能会导致数据不准确或不一致。

物理资源不足

如果处理数据所需的硬件资源（如存储、内存、CPU等）不足，可能会影响数据处理的效率和质量。

基础设施不稳定

如果支撑数据存储和处理的基础设施（如数据库、网络等）不稳定，可能会导致数据丢失或处理错误。

二、如何提高数据质量

当谈到数据质量管理的时候，必须有一个数据质量评估的标准，有了这个标准，才能知道如何评估数据的质量，才能将数据质量量化，并知道改进的方向，以及如何评估改进后的效果。目前业内认可的数据质量标准有如下几类。

（1）准确性：描述数据是否与其对应客观实体的特征一致。举例：用户的住址是否准确；某个字段规定应该是英文字符，在其位置上是否存在乱码。

（2）完整性：描述数据是否存在缺失记录或缺失字段。举例：某个字段不能为null或空字符。

（3）一致性：描述同一实体同一属性的值在不同的系统中是否一致。举例：男女是否在不同的库表中都使用同一种表述。例如在A系统中，男性表述为1，女性表述为0；在B系统中，男性表述为M，女性表述为F。

（4）有效性：描述数据是否满足用户定义的条件或在一定的取值范围内。举例：年龄的值域在0~200之间。另一个枚举的有效性例子是银行的币种代码。

（5）唯一性：描述数据是否存在重复记录。举例：身份证号码不能重复，学号不能重复。

（6）及时性：描述数据的产生和供应是否及时。举例：生产数据必须在凌晨2：00入库到ODS（OperationalData Store，操作数据层）。

（7）稳定性：描述数据的波动是否稳定，是否在其有效范围内。举例：产品质量抽样统计的合格率，不会有超过20%的波动范围。

（8）连续性：描述数据的编号是否连续。举例：有关部门处理环保违法案件，案件的编号必须是连续的。

（9）合理性：描述两个字段之间逻辑关系是否合理。举例：企业注销时间必须晚于注册时间，自然人的死亡时间必须晚于出生时间。

以上数据质量标准只是一些通用的规则，还可以根据客户数据的实际情况和业务要求对其进行扩展，如进行交叉表数据质量校验等。

3.1 数据质量建设

有了数据质量的评判标准，就可以以此作为参考，对数据进行改正，以提高数据质量，那么又是如何进行数据质量标准进行任务化呢？这就是数据质量建设的方法->质量稽核

在数据加工任务中，对产出表按照业务规则，设计一些校验逻辑，确保数据的完整性、一致性和准确性，这是提升数据质量最行之有效的方法。

通常建议你在数据产出任务运行结束后，启动稽核校验任务对数据结果进行扫描计算，判断是否符合规则预期。如果不符合，就根据提前设定的强弱规则，触发不同的处理流程。

如果是强规则，就立即终止任务加工链路，后续的任务不会执行，并且立即发出电话报警，甚至我们要求，关键任务还要开启循环电话报警，直到故障被认领；如果是弱规则，任务会继续执行。

但是存在风险，这些风险会通过邮件或者短信的方式，通知到数据开发，由人来进一步判断风险严重程度。

3.2 大模型赋能数据质量建设

上面是为了提高数据质量，而实施的一些措施。

需要针对每个任务需要根据数据质量评判标准，进行稽核任务编排，在编排完毕之后需要到表字段里进行校验。

整个流程是比较麻烦的，而且如果你不对数据了解，那么想要高质量的数据，则都得把质量标准流程都走一遍。

因此，思考是否可以利用大模型对数据质量进行校验。

根据通用型质量规则数据对大模型微调，并结合知识库的方式设计流程，最后利用微调后的大模型对数据进行稽核。

（1）大模型微调

数据质量标准，是大数据领域的特定数据。

因此，可以把数据质量标准，制作成问答对，对通用大模型进行微调，让它掌握数据质量的标准规则。

一般而言，可以把最为通用的质量标准进行微调。

（2）知识库

数据来自于不同的场景，那么针对数据的评判是不同的。可以把自己业务领域，对数据质量特定的标准进行嵌入知识库方式，给于大模型准确的回答。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述