在使用hive进行数据处理时,经常会用到group by语法,但对分组的合并操作,hive没有mysql支持得好:
group_concat([DISTINCT] 要连接的字段 [Order BY ASC/DESC 排序字段] [Separator '分隔符'])
hive只有一个collect_set内置函数,返回去重后的元素数组,
但我们可以通过编写UDAF,来实现想要的功能。
编写通用型UDAF需要两个类:解析器和计算器。解析器负责UDAF的参数检查,操作符的重载以及对于给定的一组参数类型来查找正确的计算器,建议继承AbstractGenericUDAFResolver类,具体实现如下:
@Override
public GenericUDAFEvaluator getEvaluator(TypeInfo[] parameters)
throws SemanticException {
if (parameters.length != 1) {
throw new UDFArgumentTypeException(parameters.length - 1, "Exactly one argument is expected.");
}
if (parameters[0].getCategory() != ObjectInspector.Category.PRIMITIVE) {
throw new UDFArgumentTypeException(0, "Only primitive type arguments are accepted.");
}
return new CollectListUDAFEvaluator();
}
计算器实现具体的计算逻辑,需要继承GenericUDAFEvaluator抽象类。
计算器有4种模式,