浅谈hive中group by和开窗函数的partition by二者区别

        最近在学习hive时，发现group by和开窗函数中的partition by都可以对表格进行分组（分区），并且可以限制函数的作用范围从全部区间变为组的内部。那二者究竟有何区别？以下是一些个人理解，希望能够给大数据学习者提供帮助。

        设计了这样一个表格数据，将其插入到表格test中，其字段名为name。我们统计每个名字在表中出现了多少次： 

         首先使用group by来对name列进行分组，执行以下HQL：

select name,count(*) as frequency
from test
group by name;

        可以看到得到了我们想要的结果：

        那如果我们使用开窗函数中的partition by进行分组，结果会怎样呢？执行了以下代码：

select name,count(*) over(partition by name) as frequency
from test;

        结果如下图所示，从这两个例子中不难发现区别所在。对于group by和开窗函数的partition by，二者都将count函数的作用域成功限制在了组内，但区别在于：前者使得函数在每个组内只作用一次，最终每一组输出一条数据；而后者使得count函数在组内的每一行都作用一次，每次作用的范围是整个组，最终每一行都输出一条数据。 二者都达到了对于名字进行计数的目的，但输出方式有所不同。

        group by的优势在于效率高，partition by的优势在于可以设置更加复杂的函数作用范围。前者针对在组内任意一行函数返回结果都相同的情景，而后者针对每一行函数的返回值的不相同的情景。实际应用中，二者各司其职，并不能相互代替。