- 博客(2)
- 资源 (1)
- 问答 (4)
- 收藏
- 关注
RSS订阅
原创 数据平台简介
数据平台是什么数据平台即数据开发平台,顾名思义,它需要屏蔽数据存储处理的底层细节,对外提供一个统一的数据服务平台,数据平台的服务目标,应该是提供一个完整的数据业务解决方案,提供全链路、一站式、智能化的数据构建与管理工具,降低数据建设门槛,而不是仅仅提供组件或孤立的系统,把流程串接和方案集成的工作都抛给用户自己去考虑,根据数据的生命周期,大致需提供以下功能和产品:数据接入: 数据集成/etl...
2019-07-07 16:47:44
5923
原创 基于Hql的表级数据血缘
预备知识表级数据血缘：数据表的派生关系。Hql: hive sql通过hive的hql parser在AST(抽象语法树)层级操作如果需要做字段血缘,在AST级别是可以完成的,不过需要熟悉大量的hql语法规则和其在ast中的实际表示。耳闻hiv的ast并不好,也许是积重难返吧,新语法规则的引入必然要和旧的规则做妥协。可以换用spark sql的parser或者presto的parser...
2019-07-28 17:40:10
1600
TA创建的收藏夹 TA关注的收藏夹
TA关注的人