【presto】方法一：presto实现自定义UDF函数，及遇到的问题

一、前言：

presto较hive的函数来说比较少，所以为了实现逻辑需要写很复杂的sql逻辑来实现业务。

这里在进行presto 函数开发的时候遇到了很多的问题，以大小写转换为例。

写个插件，并且将遇到的问题整理并记录一下。

二、环境准备：

1. 下载presto代码。

下载与线上生产环境presto版本一致的代码，导入idea。

2. 新建一个module

新建一个module命名为demo,然后groupId最好命名为com.facebook.presto。

3. pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>presto-root</artifactId>
        <groupId>com.facebook.presto</groupId>
        <version>0.220</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>presto-demo</artifactId>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <presto.verison>0.220</presto.verison>
    </properties>

    <dependencies>
        <dependency>
            <groupId>com.facebook.presto</groupId>
            <artifactId>presto-spi</artifactId>
            <version>${presto.verison}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-annotations</artifactId>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>io.airlift</groupId>
            <artifactId>slice</artifactId>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>io.airlift</groupId>
            <artifactId>units</artifactId>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.openjdk.jol</groupId>
            <artifactId>jol-core</artifactId>
            <scope>provided</scope>
        </dependency>
    </dependencies>
    <!-- 屏蔽parent中的plugin 避免打包报错 -->
    <build>
        <plugins>
            <plugin>
                <groupId>org.antlr</groupId>
                <artifactId>antlr4-maven-plugin</artifactId>
            </plugin>
            <plugin>
                <groupId>org.gaul</groupId>
                <artifactId>modernizer-maven-plugin</artifactId>
                <configuration>
                    <skip>true</skip>
                </configuration>
            </plugin>
            <plugin>
                <groupId>com.mycila</groupId>
                <artifactId>license-maven-plugin</artifactId>
                <configuration>
                    <skip>true</skip>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

三、函数开发：

1. Presto插件机制

presto不能像hive那样配置自定义的udf，而是采用插件机制实现。Presto 的插件(Plugin)机制，是 Presto 能够整合多种数据源的核心。通过实现不同的 Plugin，Presto 允许用户在不同类型的数据源之间进行 JOIN 等计算。Presto 内部的所有数据源都是通过插件机制实现， 例如 MySQL、Hive、HBase等。Presto 插件机制不仅通过加载 Connector 来实现不同数据源的访问，还通过加载 FunctionFactory 来实现 UDF 的加载。 Presto 的 Plugin 遵循 Java 中的 ServiceLoader 规范， 实现非常简单。

2. Function实现

package com.facebook.presto.demo;

import com.facebook.presto.spi.function.Description;
import com.facebook.presto.spi.function.ScalarFunction;
import com.facebook.presto.spi.function.SqlType;
import com.facebook.presto.spi.type.StandardTypes;
import io.airlift.slice.Slice;
import io.airlift.slice.Slices;

public class MyFunctions {
    @ScalarFunction("to_upper") // 固定参数，表示函数名的意思，也就我们在使用Presto的时候用的函数名
    @Description("我的大小写转换函数") // 函数的注释
    @SqlType(StandardTypes.VARCHAR) // 表示数据类型
    public static Slice toUpper(@SqlType(StandardTypes.VARCHAR) Slice input) {
        // 将获取到的数据转换大写
        String s = input.toStringUtf8().toUpperCase();
        // 在转换后的数据放入内存返回
        return Slices.utf8Slice(s);
    }
}

3. Plugin实现

package com.facebook.presto.demo;

import com.facebook.presto.spi.Plugin;
import com.google.common.collect.ImmutableSet;

import java.util.Set;

public class PrestoUdfPlugin implements Plugin {
    @Override
    public Set<Class<?>> getFunctions() {
        return ImmutableSet.<Class<?>>builder()
                // 添加插件class
                .add(MyFunctions.class)
                .build();
    }
}

4. 加载plugin

在src/main/resources下创建目录,注意META-INF是父目录services是子目录,只是idea合并显示了,不是说文件名里面有点.
然后创建文件com.facebook.presto.spi.Plugin。

然后文件内容为：

com.facebook.presto.demo.MDAFunctionPlugin

注： 包名 + 插件类名

4. 打包

mvn package

4. 新建一个插件包文件

在生产环境上在$PRESTO_HOME/plugin目录下新建一个文件夹，用来存放自己的写的UDF Function。

mdkir -p /home/rong/presto/presto-server/plugin/demo

5. 上传jar包

将package 后的jar包和相关的依赖，上传到我们上一步新建的文件夹中。

注意：插件必须安装在Presto集群中的所有节点上(协调器和工作器)。

6. 重启服务

${PRESTO_HOME}/bin/launcher restart

7. 查看function

重启presto服务后，使用客户端连接presto。

${PRESTO_HOME}/bin/presto --catalog hive

输入show functions就可以看到我们注册的方法。

问题：

---

问题1：

报错内容：

Failed to execute goal com.mycila:license-maven-plugin:2.3:
check (default) on project presto-demo:
Some files do not have the expected license header

问题原因：

因为maven会对license进行检车check，而配置文件缺少头部license声明，所以报错，无法执行下去。

解决方法：

pom.xml 文件添加：

<plugin>
   <groupId>com.mycila</groupId>
    <artifactId>license-maven-plugin</artifactId>
    <configuration>
        <skip>true</skip>
    </configuration>
</plugin>

问题2：

报错内容：

(regexp) RegexpMultiline: Blank line before end of file

问题原因：

presto会对文件进行检查，格式不规范都会报错。

解决方法：

1. 文件必须以空行结尾。

2. 文件末尾不能有多余的空行。

3. 不能有没有引用的类型。
   如List并没有使用，这种也会报错。
   

4. implement等关键字需要换行
   

5. 不能有多余的空行。
   

总结：

presto实现自定义函数比较简单，但是如果是在presto代码下新建工程，然后进行开发，这种情况presto对于开发的格式要求比较多，索引编译会一直报错，这种情况比较麻烦，不是很推荐。