ETL技术总结

一、ETL 清洗规则

1、解析数据

在 Hive 中一般使用 UDTF 函数

2、核心字段解析

（1）核心字段为空

select
	...
from
	...
where
	xxx is not null;

（2）核心字段有错误
例: 订单金额 < 0 的数据要过滤掉

select
	..