Hive高级查询(group by )

1. group by

按照某些字段的值进行分组，有相同值放到一起。
样例

select col1 [,col2] ,count(1),sel_expr（聚合操作）from table
where condition         -->Map端执行
group by col1 [,col2]   -->Reduce端执行
[having]                -->Reduce端执行

注意
select后面非聚合列，必须出现在group by中
select后面除了普通列就是一些聚合操作
group by后面也可以跟表达式，比如substr(col)
特性
使用了reduce操作，受限于reduce数量，设置reduce参数mapred.reduce.tasks
输出文件个数与reduce数相同，文件大小与reduce处理的数据量有关。
问题
网络负载过重
数据倾斜，优化参数hive.groupby.skewindata为true，会启动一个优化程序，避免数据倾斜。

set mapred.reduce.tasks=5;
select * from TabOrder order by ch asc,num desc;

set mapred.reduce.tasks=3;
select ch ,count(1) as num from TabOrder group by ch;

set hive.groupby.skewindata = true;
select ch ,count(1) as num from TabOrder group by ch having count(1)>2;

select col from tablename group by col; <==> select distinct col from tablename;

---

附上原链接：https://blog.csdn.net/scgaliguodong123_/article/details/46944519#t2