和impala_impala 创建udf MD5函数

在数仓建设DWS汇总层时，维度字段太多作为联合主键会非常长，这时候可以对这些字段组合使用MD5加签生成一个字符串作为唯一主键。impala建表必须要有主键；

package com.netease.hive.udf;import java.security.MessageDigest;import org.apache.hadoop.hive.ql.exec.UDF;public class MD5UDF extends UDF {    public static String evaluate(String value) {        StringBuilder sb = new StringBuilder();        try {            MessageDigest messageDigest = MessageDigest.getInstance("md5");            byte[] bytes = messageDigest.digest(value.getBytes());            for (int i = 0; i < bytes.length; i++) {                int tempInt = bytes[i] & 0xff;                if (tempInt < 16) {                    sb.append(0);                }                sb.append(Integer.toHexString(tempInt));            }        } catch (Exception e) {        }        return sb.toString();    }    public static void main(String[] args) {        String hello = "hello world";        System.out.println("MD5加密后的结果：" + evaluate(hello));    }}

1.需要导入hive-exec-*.jar；

2.extends UDF，继承接口UDF；

3.实现方法evaluate()；

hadoop fs -put ./md5UDf.jar hdfs://nameservice1/user/hiveimpala-shell -q "create function md5(string) returns string location 'hdfs://nameservice1/user/hive/md5UDf.jar' symbol='com.netease.hive.udf.MD5UDF';"

验证一下：

impala-shell -q "select md5('tanj')";

大家期待已久的美图赏鉴~