Hive使用UDF一例

最新推荐文章于 2022-11-22 16:40:58 发布

乔木人

最新推荐文章于 2022-11-22 16:40:58 发布

阅读量417

点赞数

分类专栏： SQL 文章标签： hive udf

本文链接：https://blog.csdn.net/aqiaojoe/article/details/49795295

版权

本文介绍了在Hive0.8.1中如何利用UDF实现分组组内topK功能，因为原版不支持rank。通过设计使用JAVA Agent解决函数加载问题，并给出了具体的UDF代码示例。

摘要由CSDN通过智能技术生成

用例

Hive0.8.1没有rank 功能，但业务需要实现分组组内topK SQL语句。应此可以使用UDF来实现。

设计

使用JAVA Agent来解决函数实现类加载问题；

UDF如下：

@Description(name = "row_number", value = "_FUNC_ a - Returns Top N after group.")
public class RowNumber extends UDF {

    private static int MAX_VALUE = 50;
    private static String comparedColumn[] = new String[MAX_VALUE];
    private static int rowNum = 1;

    public int evaluate(Object... args) {
        String columnValue[] = new String[args.length];
        for (int i = 0; i < args.length; i++) {
            columnValue[i] = args[i].toString();
        }
        if (rowNum == 1) {
        	comparedColumn = columnValue;
        } else {
            for (int i = 0; i < columnValue.length; i++) {
                if (!comparedColumn[i].equals(columnValue[i])) {