hive udaf

Hive UDAF（User- Defined Aggregation Funcation）用户自定义聚合函数是一个很好的功能，集成了先进的数据处理。hive有两种UDAF：简单和通用。顾名思义，简单的UDAF，写的相当简单的，但因为使用Java反射导致性能损失，而且有些特性不能使用，如可变长度参数列表。通用UDAF可以使用​​所有功能，但是UDAF就写的比较复杂，不直观。

1、一下两个包是必须的import org.apache.Hadoop.hive.ql.exec.UDAF和org.apache.hadoop.hive.ql.exec.UDAFEvaluator。

2、函数类需要继承UDAF类，内部类Evaluator实UDAFEvaluator接口。

3、Evaluator需要实现 init、iterate、terminatePartial、merge、terminate这几个函数。

a）init函数实现接口UDAFEvaluator的init函数。

b）iterate接收传入的参数，并进行内部的轮转。其返回类型为boolean。

c）terminatePartial无参数，其为iterate函数轮转结束后，返回轮转数据，terminatePartial类似于hadoop的Combiner。

d）merge接收terminatePartial的返回结果，进行数据merge操作，其返回类型为boolean。

e）terminate返回最终的聚集函数结果。

 

package com.qiyi.headline.hive.udaf;

import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;

import java.util.Map;
import java.util.HashMap;
import java.util.ArrayList;
import java.util.Comparator;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * Function: Merge dimensions by count.
 */
public class MergeDimensions extends UDAF {

    public static class MergeDimensionsEvaluator implements UDAFEvaluator {

        private Map<String, Integer> partial;
        private static final Logger LOGGER = LoggerFactory.getLogger(MergeDimensions.class);

        public MergeDimensionsEvaluator() {
            super();
            init();
        }

        @Override
        public void init() {
            partial = new HashMap<String, Integer>();
        }

        public void addChannel(String channelId, Integer count) {
            Integer originalCount = partial.get(channelId);
            if (originalCount != null) {
                originalCount += count;
            } else {
                originalCount = count;
            }
            partial.put(channelId, originalCount);
        }

        public boolean iterate(ArrayList<String> channels) {
            if (channels == null) return true;
            for (String channelId : channels) {
                if (channelId == null) continue;
                if (channelId.trim().equals("")) continue;
                addChannel(channelId, 1);
            }
            return true;
        }

        public Map<String, Integer> terminatePartial() {
            return partial;
        }

        public boolean merge(Map<String, Integer> other) {
            if (other == null) return true;
            for (Map.Entry<String, Integer> entry : other.entrySet()) {
                addChannel(entry.getKey(), entry.getValue());
            }
            return true;
        }

        public Map<String, Integer> terminate() {
            return partial;
        }
    }
}