Impala的分析函数(基于impala2.12)

分析函数又称为开窗函数，是一种特殊的内置函数。分析函数不会仅限于对每个group by的分组产生一个结果，它操作的是一个窗口(window),输入的行是排序和分组的，可以通过over()语句使用灵活的条件。impala的分析函数是从impala2.0.0开始添加的。分析函数经常被用于金融和科学领域，用来分析趋势、离群点以及大数据集的分桶分析。

1.over从句

当调用分析函数时，比如LEAD(),RANK()以及FIRST_VALUE，需要使用OVER从句。当调用聚合函数时使用了OVER从句，比如MAX(),COUNT()或者SUM()，将被视为分析函数。

语法

function(args) OVER([partition_by_clause] [order_by_clause [window_clause]])
partition_by_clause ::= PARTITION BY expr [, expr ...]
order_by_clause ::= ORDER BY expr [ASC | DESC] [NULLS FIRST
window_clause: See Window Clause

PARTITION BY从句
          PARTITION BY 从句与GROUP BY从句类似，按照一列或者多列相同的值，将数据分成不同的组，这个逻辑上的组，称之为分区。但是，请注意以下限制，这些限制特别适用于涉及分区表的分析函数调用。当查询涉及到分析函数和分区表时，仅对分析函数调用的partition by子句中命名的列执行分区裁剪。比如，当一个分析函数查询带有WHERE year=2016的分区裁剪条件，只有在PARTITION BY 从句中指定year才可以裁剪掉其他的分区数据，比如 OVER (PARTITION BY year,other_columns
other_analytic_clauses)

分析函数作用的范围是一个分组内(分区)的数据，任意MAX(),SUM()或者ROW_NUMBER()等独立应用于每个分区。当省略PARTITION BY子句时，则会将分析操作应用于表中的所有行。

ORDER BY 从句
           ORDER BY从句与一个查询中最外面的ORDER BY从句类似。它会对整个数据集或者PARTITION BY指定的分组数据进行排序。可以按一个或多个列进行排序，可以选择升序或降序以及空值是按排序顺序排在第一还是最后。因为ORDER BY从句仅仅对分析函数作用的数据进行排序，所以，如果使输出的结果是全排序的，可以在查询语句的最外层使用ORDER BY从句。当ORDER BY从句省略时，分析函数作用于PARTITION BY指定的分组的所有数据。当指定ORDER BY从句时，分析函数可以作用于分组的所有数据或者部分数据，这取决于WINDOW从句。在OVER从句内部使用的ORDER BY，与查询最外层的ORDER BY是有区别的，比如ORDER BY 1被解释为常量排序值(实际上是无操作),而不是按照第1列进行排序。
           Window 从句
           window从句只能ORDER BY 从句一起使用.。如果指定了 ORDER BY 从句，而省略了window从句，则默认的窗口(window)是RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW，表示从开始到当前行。

HBase 表注意事项
           由于 HBase 表在单行查找做了优化，而不是全表扫描。所以不推荐在HBase表上使用分析函数，尽管查询是有效的，但是与查询HDFS上的数据相比，性能较差。
           Parquet 表注意事项