Hive通用型自定义聚合函数（UDAF）

最新推荐文章于 2023-08-15 11:13:44 发布

沧南

最新推荐文章于 2023-08-15 11:13:44 发布

阅读量1.9w

点赞数 4

分类专栏： Hive

本文链接：https://blog.csdn.net/desilting/article/details/45505121

版权

本文介绍了在Hive中如何使用和创建通用型自定义聚合函数（UDAF），以增强Hive对数据分组后的合并操作能力，弥补了Hive在该领域的不足，通过实例展示了UDAF的实现过程和使用场景。

摘要由CSDN通过智能技术生成

在使用hive进行数据处理时，经常会用到group by语法，但对分组的合并操作，hive没有mysql支持得好：

group_concat([DISTINCT] 要连接的字段 [Order BY ASC/DESC 排序字段] [Separator '分隔符'])

hive只有一个collect_set内置函数，返回去重后的元素数组，但我们可以通过编写UDAF，来实现想要的功能。

编写通用型UDAF需要两个类：解析器和计算器。解析器负责UDAF的参数检查，操作符的重载以及对于给定的一组参数类型来查找正确的计算器，建议继承AbstractGenericUDAFResolver类，具体实现如下：

  @Override
    public GenericUDAFEvaluator getEvaluator(TypeInfo[] parameters)
            throws SemanticException {
        if (parameters.length != 1) {
            throw new UDFArgumentTypeException(parameters.length - 1, "Exactly one argument is expected.");
        }
        if (parameters[0].getCategory() != ObjectInspector.Category.PRIMITIVE) {
            throw new UDFArgumentTypeException(0, "Only primitive type arguments are accepted.");
        }
        return new CollectListUDAFEvaluator();
    }

计算器实现具体的计算逻辑，需要继承GenericUDAFEvaluator抽象类。

计算器有4种模式，