大数据学习-hive（二：如何通过sql做etl）

一：为什么做etl？

我们使用etl的目的是为了让我们的数据更加的干净，就像我们做饭一样，如果拿过来的菜，不做清洗的话，会非常影响食欲。

二：etl怎么做？

1. 常用的sql

（1）trim

将字符串首尾去空。遇到string类型的字段都要增加。

（2）upper

将字符串转为大写。如果大小写对数据没有影响的话，可以将字符串进行upper进行处理。因为有些时候，上游传输的数据，同样一个信息，第一天传过来小写，第二天，传过来大写，这样会导致一个现象，同一个结果我们统计了俩次。导致数据不准确。

（3）lower

（4）coalesce

如果某个字段，空字符串和null对于后期的结果有影响，那么就要对数据进行操作。
案例：之前有个过滤条件<>1,本来想把等于1的过滤掉，但是对于这样默认会将为null也会过滤掉。导致后面数据不全。

（5）去重

进行开窗函数，对于时间字段进行order by，那最新的数据。

row_number() over (partition by sn order by UPDATE_TIME desc) as num

（6）时间戳处理

https://blog.csdn.net/weixin_43446246/article/details/122808541?spm=1001.2014.3001.5502

(7) 类型转换

转化为指定的类型。

cast(mp_userid as int) as mp_userid

（8）解密

default.aes_decrypt为udf函数。

trim(default.aes_decrypt(mobile_no,'aaaaa')) as mobile_no