Hive数据更新同时去重入门

在导入数据时去重

导入数据在查询时去重

就是导入重复的数据,在查询时用row_number取最新的值,缺点就是有冗余存储,另外,查询会耗时较多

with a as (
    select id,
           update_time,
           state,
           password,
           username,
           row_number() over (distribute by id sort by update_time) `rn`
    from t1
)
select id,
       update_time,
       state,
       password,
       username
from a
where a.rn = 1;

参考

大数据，数据仓库，hive不能使用update更新操作解决方案 - 简书

拉链表（一） - 知乎