impala添加自定义函数（MD5)，以及Failure to find org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde解决

创建一个空得maven工程

直接next -->finish。

修改pom文件

这是我得pom文件,一开始没有添加repositories节点，就报Failure to find org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde in。。。。得错误。网上说先下载再放到本仓库中，我试了也不行。最后添加了这个不报错了，这个帖子找到得

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.zx</groupId>
    <artifactId>MD5Udf</artifactId>
    <version>1.0-SNAPSHOT</version>
    <packaging>jar</packaging>
    <dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>1.2.1</version>
        </dependency>

    </dependencies>
    <repositories>
        <repository>
            <id>spring</id>
            <url>https://maven.aliyun.com/repository/spring</url>
        </repository>
    </repositories>


    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>


</project>

添加函数类

package com.zx;

import org.apache.hadoop.hive.ql.exec.UDF;

import java.security.MessageDigest;

public class Md5 extends UDF {
    public static String evaluate(String value){
        StringBuilder sb = new StringBuilder();
        try {
            MessageDigest messageDigest = MessageDigest.getInstance("MD5");
            byte[] bytes = messageDigest.digest(value.getBytes());
            for (int i = 0; i < bytes.length; i++) {
                int tempInt = bytes[i] & 0xff;
                if (tempInt < 16) {
                    sb.append(0);
                }
                sb.append(Integer.toHexString(tempInt));
            }
        }
        catch (Exception e) {
            System.out.println(e.getMessage());
        }
        return sb.toString();

    }

//    public static void main(String[] args) {
//        System.out.println(evaluate("123456"));
//    }

}

项目结构如下：

打包上传得hdfs,创建函数

mvn clean,mvn package。
把生成得jar包上传到hdfs，我是使用hue得文件浏览器直接上传得。
也可以用命令上传

hdfs dfs -copyFromLocal 本地jar位置 上传hdfs位置

上传完成后使用创建函数，本人直接再hue中得impala查询窗口，命令如下

create function md5(string) returns string location 'hdfs://node1/targetFile/MD5Udf.jar' symbol='com.zx.Md5';

'hdfs://node1/targetFile/MD5Udf.jar’是在hdfs中得位置，symbol='com.zx.Md5’是我创建得函数类路径和类名。
测试结果：

select md5('123456')

参考这个帖子，自己动手做了一遍，记录一下，原帖指路
demo项目地址：https://gitee.com/xing_home/md5_udf.git