hive中一张表内查找数据重复的问题

先说一下自己的理解：下面的col1其实是一个可以根据这个字段查出整行数据的(类似于主键)，如果不能确定的话那就将所有字段都写上

如何快速确定一张表内是否有重复数据：

select count(col1), count(distinct col1) from table;

查询一张表内重复数据的方法有三种：

1、group by

select col1, count(1) from table 
group by col1
having count(1) > 1; --求出有重复数据的行
-- having count(1) = 1; 去重之后的结果

2、distinct去重

select distinct col1 from table;

3、row_number()排序函数（推荐使用）

select col1, col2 from
(
select col1, col2,
row_number() over(partition by col1 order by col2) rk
from table
)  t 
where t.rk > 1; -- 这样求出来的就是有重复数据的数据
-- where t.rk = 1; 这句就是查出来没有重复的数据(去重之后的数据)