怎样修改一个类中的数据_饿了么元数据管理实践之路

大数据挑战

ecab45cdd2e25ddf8b27d7334a87ccba.png

Challenge

多种执行、存储引擎,分钟、小时、天级的任务调度,怎样梳理数据的时间线变化?

任务、表、列、指标等数据,如何进行检索、复用、清理、热度Top计算?

怎样对表、列、指标等进行权限控制,任务治理以及上下游依赖影响分析?

元数据定义、价值

元数据打通数据源、数据仓库、数据应用,记录了数据从产生到消费的完整链路。元数据包含静态的表、列、分区信息(也就是MetaStore);动态的任务、表依赖映射关系;数据仓库的模型定义、数据生命周期;以及ETL任务调度信息、输入输出等

元数据是数据管理、数据内容、数据应用的基础。例如可以利用元数据构建任务、表、列、用户之间的数据图谱;构建任务DAG依赖关系,编排任务执行序列;构建任务画像,进行任务质量治理;数据分析时,使用数据图谱进行字典检索;根据表名查看表详情,以及每张表的来源、去向,每个字段的加工逻辑;提供个人或BU的资产管理、计算资源消耗概览等

开源解决方案

5acd89fa9385dadca77e426759105146.png

WhereHows

WhereHows是LinkedIn开源的元数据治理方案。Azkaban调度器抓取job执行日志,也就是Hadoop的JobHistory,Log Parser后保存DB,并提供REST查询。WhereHows太重,需要部署Azkaban等调度器,以及只支持表血缘,功能局限

fa82bedb0d157e7f2a0d35a4a49be5a6.png

Atlas

Atlas是Apache开源的元数据治理方案。Hook执行中采集数据(比如HiveHook),发送Kafka,消费Kafka数据,生成Relation关系保存图数据库Titan,并提供REST接口查询功能,支持表血缘,列级支持不完善

饿了么元数据系统架构

0f0dc877d7ab8b61f32190b53791c7e5.png

架构

  • DB保存任务的sql数据、任务基础信息、执行引擎上下文信息
  • Extract循环抽取sql并解析成表、列级血缘Lineage
  • DataSet包含Lineage关系数据+任务信息+引擎上下文
  • 将DataSet数据集保存到Neo4j,并提供关系查询;保存ES,提供表、字段等信息检索

SQL埋点、采集

986f182b7a895c467881009a0d4a877a.png

SQL埋点

饿了么的sql数据,以执行中采集为主+保存前submit为辅。因为任务的sql可能包含一些时间变量,比如dt、hour,以及任务可能是天调度、小时调度。执行中采集sql实时性更高,也更容易处理

EDW是饿了么的调度系统,类比开源的AirFlow。调度系统执行任务,并将任务相关的信息,比如appId、jobId、owner、sql等信息存入DB

计算引擎实现相关的监听接口,比如Hive实现ExecuteWithHookContext接口;Spark实现SparkListener接口;Presto实现EventListener接口。将计算引擎相关的上下文Context、元数据MetaData、统计Statistics等信息存入DB

SQL解析

3f0b0c62fde96f57498cc6c4555ca050.png

SQL Parse

解析sql的方案,以hive为例。先定义词法规则和语法规则文件,然后使用Antlr实现sql的词法和语法解析,生成AST语法树,遍历AST语法树完成后续操作

但对于SELECT *、CTAS等操作,直接遍历AST,不去获取Schema信息来检查表名、列名,就无法判定sql的正确性,导致数据污染

综上所述,饿了么的SQL解析方案,直接参考Hive的底层源码实现。上面的图片是个简单示例,先经过SemanticAnalyzerFactory类进行语法分析,再根据Schema生成执行计划QueryPlan。关于表、列的血缘,可以从LineageInfo、LineageLogger类中获得解决方案

当然,你需要针对部分类型sql设置HiveConf,比如“开启动态分区非严格模式”。对于CTAS类型,需要设置Context。UDF函数需要修改部分hive源码,避免UDF Registry检查

4a5575cd91ca142fd576534b9eb66634.png

Operation

饿了么解析血缘的sql支持的操作有:Query(包含selectinsert intoinsert overwrite)、CreateTable、CreateTableAsSelect、DropTable、CreateView、AlterView。基本覆盖饿了么生产环境99%+的sql语法

栗子

create table temp.lineage_test as select coalesce(name, count(id)) lineage_name from default.dual group by id, name

举个栗子,根据上面的sql,分别产生表、列血缘结构。input是表、列输入值,output是表、列输出值,operation代表操作类型。比如表A+B通过insert,生成表C,则延展成A insert C; B insert C

列式也一样
input: name, operation: coalesce(name, count(id)), output: lineage_name;
input: id, operation: coalesce(name, count(id)), output: lineage_name

表血缘结构

5170eafbb79222c01652107b5cbaf6ca.png

Table Lineage

列血缘结构

6a05b29744f5fbfb4b7b2a6dac7cb8a7.png

Column Lineage

图存储

b1459e168672265444d3fa9e44ecd30a.png

Gremlin

有了input、operation、output关系,将input、output保存为图节点,operation保存为图边。图数据库选用Gremlin+Neo4j。Gremlin是图语言,存储实现方案比较多,Cypher查询不太直观,且只能Neo4j使用。社区版Neo4j只能单机跑,我们正在测试OrientDB

饿了么部分使用场景

下面是饿了么在元数据应用上的部分场景:

6e69cac52ce14b50d9363e90df00cd79.png

MetaStore

静态的Hive MetaStore表,比如DBS、TBLS、SDS、COLUMNS_V2、TABLE_PARAMS、PARTITIONS,保存表、字段、分区、Owner等基础信息,便于表、字段的信息检索功能

a5029ed6e0186e932ad3bd1e3f2ea0df.png

LineageInfo

提供动态的表依赖血缘关系查询。节点是表基础信息,节点之间的边是Operation信息,同时附加任务执行Id、执行时间等属性。列血缘结构展示等同表血缘结构

7fb2fb405d60c737a38d130c8e45e3bd.png

Job DAG

根据SQL的input、output构建表的依赖关系,进一步构建任务的DAG依赖结构。可以对任务进行DAG调度,重新编排任务执行序列


作者:炮灰向前冲啦
链接:https://www.jianshu.com/p/f60b2111e414
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值