Hive拓展

1 数据集成

？

数据同步，抽数，导数

离线数仓，离线同步

数据同步的时候几个必要的东西

1.数据源

包括从哪里来，到哪里去

可以是数据库，也可以是别的，比如FTP，ES等

2.表

来源表 目标表

3.字段映射关系

4.同步方式/同步逻辑

比如从mysql到hive

先清空hive表的某些分区，再插入，全删全插

直接插入

hive到mysql呢？

全删全插

直接插入

主键冲突update

hive到mysql，我们公司称为“回流”

同步方法

1.直接对mysql业务库进行操作

优缺点：操作简单，风险较大

2.写到kafka，让java后端去消费

kafka，消息中间件

hive->kafka->mysql

中间多了一层，我们离线数仓称为生产者，java后端称为消费者

特点：较为安全，但是开发麻烦

3.api接口

产生统一的api接口，供java同事去调用，我认为是最好的方式

dataworks也有该功能

api接口一般是，一行数据，一个json

如果你不用呢？

我们离线数仓还是将数据写到mysql，但是是接口端的mysql

hive->mysql(接口库) ->接口->mysql（业务库）

5.同步时间，多久同步一次

crontab

2 数据开发

说白了 写SQL

但是不只是写SQL

？

调度配置

时间配置，什么时候运行？多久运行一次？

生效时间范围：2022-04-15-2022-04-30

SLA：其实就是设置任务超时时间，比如设置1小时，也可以设置具体的时间，时效性

依赖设置：哪些任务跑完了我才可以跑

重跑设置：是否出错自动重跑？重跑几次？是否可以手动重跑？

其他：

代码提醒：写一个表，dwd_trd_ord,表提醒补全，原理是？

血缘关系：一大段SQL，平台最好是可以将其中所有表的依赖解析出来

版本：谁编辑过了?编辑了几次？为什么编辑？还要可以回滚。

代码搜索：

默认的变量：比如"昨天"，"月初第一天"

3 运维中心

周期任务

DAG(有向无环图)

任务

启动

停止

暂停（冻结）

解冻

补数据

1.20220101-20220409的数据，hive加了个字段

2.当做测试用 补20220409的数据

3.失败发现后重跑

4 数据治理

数据访问控制

比如分析师想看你做好的某个ods层表，她申请，你审批

数据质量（很重要！！！）

有些我们任务跑成功了，但是数据不对，下游分析师或者业务发现了比如某app的弹窗，里面放的是优惠券的链接，这部分数据是你做的

user_id coupon_id amt

但是本来只发1万人，但是你发了10万人，造成资损

主要的数据质量校验的规则

1.主键重复检测

hiving count(distinct id) > 1

2.数据量多也不行，少也不行，没有更不行

2.1 是否为空 count(1)是否大于0

2.2 表数据量波动阈值 1万 50%报错

n天平均值波动，方差波动，周期波动等等

3.某些重要计算列检测

比如一个0.67 0-1,1.7，设置该列最大值为1，出现大于1的报错

5 数据地图

包含了表，字段，分区，数据量，上下游依赖等等信息

存储量和表数据的关系

1G不等于100w