- 博客(5)
- 收藏
- 关注
RSS订阅原创 SparkListener血缘——Openlineage插件实现思路
后续还会介绍的有：Atlas 血缘插件实现思路、Spline血缘插件实现思路、数据血缘Antlr4解析、Atlas-Openlineage-Spline多系统元数据同步。欢迎大家留言评论~
2023-03-23 14:54:05
1480
原创 Openlineage数据地图
Openlineage 是一款数据血缘采集和分析的开源框架。不同的元数据管理系统都有着自己的一套元数据定义，Openlineage的设计相当于在中间架设了一层格式转换，类似于一个转接口。对于元数据的统一来说，Openlineage的出现让使用者无需关注背后的元数据系统是什么，使用的是哪个元数据插件进行监听，直接委托Openlineage进行处理就可以得到标准的元数据。
2023-03-17 15:25:14
2578
2
原创 Spark列级血缘(字段级别血缘)开发与实现
传统数据治理中针对spark的表级别血缘判断虽然能一定程度上解决数据的依赖关系，但是对于精确到字段之间的关系识别则显得捉襟见肘。开发此项目的用意是为了能够加强spark在列级血缘上的追踪优势。
2022-01-12 11:43:40
3732
protobuf java 代码实现
com.laozhaer.tutorial 为 protobuf本地实现
com.laozhaer.tutorialweb 为 protobuf stub+server服务端实现
2023-02-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人