本文介绍了数据治理的重要环节，包括数据调研、数据探查和开发规范。在数据调研阶段，重点关注业务含义、数据来源、处理逻辑等；数据探查遵循“全、细、深”原则，确保全面了解数据质量；开发规范中，强调了数据去重、ROW_Number() over()函数的使用、空值处理、表关联和增量数据筛选的最佳实践。
1分钟入门数据治理！必看！【技术篇】
前言：
在进行大数据开发过程中，数据调研和开发规范都是必不可少的。数据调研便于理清数据源之间的关系，梳理出哪些数据是符合当下的业务场景以及确定所要用到的加工口径等。而良好的开发规范，能有效提高数据开发的质量以及效率，保证数据开发的规范性和准确性。
数据治理这三点尤为重要：
01 数据调研
在源系统调研初期，需要与业务或者系统负责人询问系统数据相关的情况，可以针对以下5点对数据进行了解：
(1) 明确系统贴源表的业务含义，以及同一系统不同表之间有怎样的关系，具体明确到表中字段的业务含义，例如表中数据字典或码值：证件类型、地区代码、关系代码等。
(2) 数据的来源渠道，表中数据是否经过处理、处理逻辑是怎样的。
(3) 系统涉及的表是否停用、数据周期时间的跨度是否满足需求。
(4) 数据处理逻辑（即关联口径）：如何将系统内相关联的表融合成一个宽表，以及表中属性的补充，比如客户如何获取到唯一主键（客户号），具体关联条件、字段是哪些。
(5) 在完成与源系统初步的数据调研后，针对调研所给出的加工口径进行核实。根据数据具体情况决定是否需要进行再一次调研。
02 数据探查
了解到源系统的情况后，需要对数据进行详
最低0.47元/天 解锁文章
扫一扫
1596
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
