hive sql 窗口函数与group by一起用

表结构

CREATE TABLE `bigtable`(

`id` bigint,

`time` bigint,

`uid` string,

`keyword` string,

`url_rank` int,

`click_num` int,

`click_url` string)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t';

 

 

先查总条数：

select count(*) from bigtable where keyword like '%大%';

结果是：45703

 

通过id去重，统计有多少包含“大”字的

select count(*) from (select b.id from bigtable b group by b.id) a where a.keyword like '%大%' ;

输出结果：37264

 

要统计有多少组怎么实现？

利用窗口函数:

select count(*) over() from bigtable where keyword like '%大%' group by id limit 1;

输出结果：37264行数据，每行都有个字段值为37264

 

窗口函数是写在select子句中的，而窗口函数开窗范围是基于后面的所有查询结果。。对每行结果进行开窗操作，然后每行都在这个窗口范围内执行聚合函数进行统计。统计结果作为这一行的一个字段值。

 

总结：窗口函数与group by一起使用并不冲突。。。。窗口函数也是基于整个group by后的查询结果(而不是基于每组组内的查询结果)