大数据学习——金融行业大数据基于ETL过程的数据质量管理方法论

金融行业大数据基于ETL过程的数据质量管理方法论

 

ETL是什么：

ETL——Extraction（抽取）+Trasformation（转换）+Loading(加载)

大数据平台的ETL过程抽象：

数据源特征：

1. 数据源集中于成熟系统落地的高质量数据+标准格式的数据文件（用于数据集市）。
2. 互联网金融额外拥有基于用户行为的日志型数据（主要用于客户画像和风险识别）
3. 大数据平台各组件会产生非标准的日志型信息（主要用于监控）
4. 少量的非标准数据源（合同扫描件等）。

贴源层特征：

1. 与数据源保持较高一致性，自动化程度高
2. 数据质量容易校验，但对错误零容忍

模型层特征：

1. 按维度集中共性数据形成数据标准
2. 核心在于数据映射关系和归并规则
3. 数据清洗和稽核的重点、难点

集市层特征：

1. 贴近于数据应用，有针对性的汇总维度
2. 数据质量管理的最终目标

 

如何定义数据质量：

较通用的数据质量标准可关注以下四点：

完整性：  数据量校验 + 主键唯一（重复校验） + 空数据校验

一致性： 数据格式规范 + 字典范围

准确性： 业务规则校验 + 异常特征识别

及时性： 基于任务调度日志的时间效率监控

 

如何保障或提高终端（集市层）数据质量：

从ETL过程入手有两个关注点:

1. 集市层数据质量依赖于数据源数据质量：

需要引入“数据清洗”，提高数据源转换到模型层的数据质量

2. 集市层数据质量依赖于ETL过程数据流转的正确性：

需要引入“数据稽核”，保障每一层数据质量

3. 各层数据质量的分析依赖于监控ETL辅助工具的日志：

需要引入“日志处理”，及时反馈数据质量问题进行汇总分析

 

如何定义数据清洗和数据稽核：

数据清洗：预判问题。发现可自动调整的数据质量问题，自动干预。