hive 大数据除重问题研究

最新推荐文章于 2021-12-19 13:12:04 发布

有道李

最新推荐文章于 2021-12-19 13:12:04 发布

阅读量2.4k

点赞数 1

分类专栏： hadoop 数据库&数据仓库文章标签： java Hive 数据仓库 Hadoop

本文链接：https://blog.csdn.net/limao314/article/details/14124755

版权

本文探讨了在Hive中处理大数据除重的三种方法：1) 使用UNION ALL结合ROW_NUMBER()；2) 左外连接配合UNION ALL；3) 左外连接后INSERT INTO。方法二在时间效率上优于方法一，但不包含内部除重功能。总结建议在增量数据和存量数据冲突时，考虑数据最新性，可以选用方法二或方法三，但应避免方法三以减少文件碎片，提高查询效率。

摘要由CSDN通过智能技术生成

存量表： store
增量表: incre

字段：
1. p_key   除重主键
2. w_sort 排序依据
3. info    其他信息

方法一(union all + row_number()over )：

insert overwrite table limao_store
select p_key,sort_word
    from ( select tmp1.*, row_number() over(distribute by sort_word sort by p_key desc) rownum
             from ( select *
                      from limao_store
                    union all
                    select *
                      from limao_incre
                   ) tmp1
         ) hh
   where hh.rownum = 1;

分析，长表排序

方法二(left outer join + union all)：
注意： hive 不支持顶层 union all ,而且union all 结果必须有别名
insert overwrite table limao_store
select t.p_key,t.sort_word from (
select s.p_key,s.sort_word from l