数据治理核心保障数据质量监控开源项目Apache Griffin分享

原创

已于 2023-06-01 22:59:42 修改 · 3.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#开源 #apache #大数据

于 2023-06-01 22:57:46 首次发布

ApacheGriffin是一个开源的数据质量平台，支持批处理和流处理模式，提供数据质量检测、异常监测和告警。它通过Docker部署，包含预构建的镜像。系统包括定义、测量和分析三个步骤，确保数据的准确度、完整性和一致性。用户可以通过UI界面进行数据质量管理和监控。

文章目录

概述
安装

概述

定义

Apache Griffin 官网地址 https://griffin.apache.org/ 源码release最新版本0.6.0

Apache Griffin 官网文档地址 https://griffin.apache.org/docs/quickstart.html

Apache Griffin 源码地址 https://github.com/apache/griffin

Apache Griffin是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度（比如离线任务执行完毕后检查源端和目标端的数据数量是否一致、源表的数据空值数量等）度量数据资产，从而提升数据的准确度、可信度。

Apache Griffin提供了一套定义良好的数据质量领域模型，涵盖了一般情况下的大多数数据质量问题。它还定义了一组数据质量DSL来帮助用户定义他们的质量标准。通过扩展DSL甚至可以在Apache Griffin中实现自定义的特定特性/功能。

数据质量(DQ)是物联网、机器学习等许多数据消费者的关键标准，但如何确定“好”数据没有标准协议。Apache Griffin是一个模型驱动的数据质量服务平台，可以在其中按需检查数据。它提供了一个标准流程来定义数据质量度量、执行和报告，允许跨多个数据系统进行这些检查；当不信任自己的数据或者担心数据会对关键决策产生负面影响时则可以使用Apache Griffin来确保数据质量。

Apache Griffin支持两种类型的数据源：

batch数据：通过数据连接器从Hadoop平台收集数据。
streaming数据：可以连接到诸如Kafka之类的消息系统来做近似实时数据分析。

为何要做数据质量监控

当数据从不同的数据源流向不同的应用系统的时候，缺少端到端的统一视图来追踪数据沿袭(Data Lineage)。这也就导致了在识别和解决数据质量问题上要花费许多不必要的时间。
缺少一个实时的数据质量检测系统。从数据资产(Data Asset)注册，数据质量模型定义，数据质量结果可视化、可监控，当检测到问题时，可以及时发出警报。
缺乏一个共享平台和API服务，让每个项目组无需维护自己的软硬件环境就能解决常见的数据质量问题。