- 博客(5)
- 收藏
- 关注
原创 SparkListener血缘——Openlineage插件实现思路
后续还会介绍的有:Atlas 血缘插件实现思路、Spline血缘插件实现思路、数据血缘Antlr4解析、Atlas-Openlineage-Spline多系统元数据同步。欢迎大家留言评论~
2023-03-23 14:54:05 1495
原创 Openlineage数据地图
Openlineage 是一款数据血缘采集和分析的开源框架。不同的元数据管理系统都有着自己的一套元数据定义,Openlineage的设计相当于在中间架设了一层格式转换,类似于一个转接口。对于元数据的统一来说,Openlineage的出现让使用者无需关注背后的元数据系统是什么,使用的是哪个元数据插件进行监听,直接委托Openlineage进行处理就可以得到标准的元数据。
2023-03-17 15:25:14 2610 2
原创 Spark列级血缘(字段级别血缘)开发与实现
传统数据治理中针对spark的表级别血缘判断虽然能一定程度上解决数据的依赖关系,但是对于精确到字段之间的关系识别则显得捉襟见肘。开发此项目的用意是为了能够加强spark在列级血缘上的追踪优势。
2022-01-12 11:43:40 3751
protobuf java 代码实现
2023-02-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人