必须声明标量变量 @limittype_Presto 标量函数注册和调用过程简述

最新推荐文章于 2023-09-05 14:00:58 发布

weixin_39616855

最新推荐文章于 2023-09-05 14:00:58 发布

阅读量693

点赞数

文章标签：必须声明标量变量 @limittype

本文链接：https://blog.csdn.net/weixin_39616855/article/details/113707189

版权

本文详细介绍了Presto中标量函数的注册和调用过程，包括函数注册时维护FunctionRegistry的MultiMap，以及标量函数调用时的入口和关键方法。函数注册涉及函数限定名、类型变量约束等信息的解析，调用过程则涉及函数名、参数类型匹配及方法调用。了解这些有助于函数开发和问题定位。

摘要由CSDN通过智能技术生成

上一篇文章已经介绍过如何进行函数开发，本文主要讲述标量函数(Scalar Function)实现之后，是如何在Presto内部进行注册和被调用的。主要讲述标量函数是因为：三类函数的注册和调用过程略有不同，而实际查询中调用最多的是标量函数。

标量函数注册

函数在能够调用之前，首先要进行注册，上一篇文章已经介绍过函数注册的方法，那么函数在注册时究竟注册了哪些信息呢？函数注册实际上是维护FunctinoRegistry类中的一个 MultiMap，Key 为函数的限定名(QualifiedName，可以简单地理解为函数名)，Value 为SqlFunction接口的实现类，实际主要为SqlAggregationFunction、SqlWindowFunction和SqlScalarFunction这三个类的子类。SqlScalarFunction是一个抽象类，定义如下：

public abstract class SqlScalarFunctionimplements SqlFunction{
private final Signature signature;

protected SqlScalarFunction(Signature signature){
this.signature = requireNonNull(signature, "signature is null");
        checkArgument(signature.getKind() == SCALAR, "function kind must be SCALAR");
    }

@Override
public final Signature getSignature(){
return signature;
    }

public abstract ScalarFunctionImplementation specialize(BoundVariables boundVariables, int arity, TypeManager typeManager, FunctionRegistry functionRegistry);

public static PolymorphicScalarFunctionBuilder builder(Class> clazz){
return new PolymorphicScalarFunctionBuilder(clazz);
    }
}

可以看出，其子类需要获取Signature和实现specialize方法。

首先来看Signature：

public final class Signature{
private final String name;
private final FunctionKind kind;
private final List typeVariableConstraints;private final List longVariableConstraints;private final TypeSignature returnType;private final List argumentTypes;private final boolean variableArity;
    ....
}

类的成员变量说明如下：

name：函数名，不包括参数类型和结果类型，例如：函数isnull(T):boolean的函数名为isnull
kind：枚举类型，有 SCALAR、AGGREGATE 和 WINDOW三种取值，用于区分函数类型
typeVariableConstraints：类型变量约束，记录函数中的类型变量名，以及类型变量所需要满足的约束条件：类型是否为comparable、orderable 和是否绑定具体类型。例如：contains(array(T),T):boolean函数要求类型T满足comparable；array_sort(array(E)):array(E)函数要求类型E满足orderable；判断两个ROW类型是否相等的操作符(操作符也属于标量函数)$operator$EQUAL>(T,T):boolean要求类型T为ROW类型。
LongVariableConstraint：长整型变量约束，记录函数中带有约束的长整型变量的计算表达式(一般用于计算返回类型中的长整型变量)。例如：函数concat(char(x),char(y)):char(u)的返回类型中长整型变量u的计算表达式为x + y
returnType：函数的返回类型
argumentTypes：函数参数类型
variableArity：标记是否为变长参数

以上成员变量都可以从函数实现的类对象中，根据注解规则解析获得。除了获取Signature，由于同一个函数可能会有多个实现(例如上一篇文章介绍的isnull(T):boolean函数，因为传入的参数类型可能不同，所以有五个实现方法)，所以还要记录函数的实现方法。源码中将实现方法分为三类：

exactimplementation：函数中不包含类型变量，即函数的参数类型和返回类型都是确定的
specializedImplementation：函数中包含类型变量，但类型变量作用在具体的 Java 类型(Native Container Type)上
genericImplement：函数中包含类型变量，但是类型变量作用在 Object 类型上

Presto 保存的是实现方法的MethodHandle，通过反射获取Method，再保存Method对应的MethodHandle(MethodHandle在JDK1.7引入，调用的效率比反射高)，如果该方法不是静态方法，还要将MethodHandle的中的this参数改为Object来避免调用时的类加载问题。所以，抽象方法specialize的本质是通过传入的参数，来获取匹配到的MethodHandle，这部分放到下一节的标量函数调用中进行讲解。

可以看出，标量函数注册的本质是保存函数的Signature和MethodHandle。开发者根据注解框架实现的标量函数，注册时再根据注解解析出Signature和MethodHandle，封装在ParametricScalar对象中。当然，开发者也可以自行继承SqlScalarFunction，自己定义Signature和实现specialize方法。

标量函数调用

标量函数调用的入口为InterpretedFunctionInvoker类的public Object invoke(Signature function, ConnectorSession session, List arguments)方法，形参里的Signature是由语义分析时，根据词法分析得到函数QualifiedName和语法分析得到的参数类型，调用FunctionRegistry中的public Signature resolveFunction(QualifiedName name, List parameterTypes)方法得到。所以，标量函数调用的关键是resolveFunction方法和invoke方法。

首先来看resolveFunction方法，该方法主要通过函数名和函数参数类型来确定Signature，流程如下：

虚线红框中的三个匹配过程实际上是调用了同一个方法：Optional matchFunction(Collection candidates, List parameters, boolean coercionAllowed)，其中的coercionAllowed为是否将实参类型转化为形参类型的标识。matchFunction方法等价于为Signature中的变量寻找赋值，不仅要满足变量类型是对应的实际参数类型的超类，而且对应的实际参数还要满足Signature中声明的变量约束。将形参类型和实参进行绑定时，还会做一些约定性的检查：

一个类型不能既赋给类型变量(type parameter)，又赋给字面变量(literal parameter，如varchar(x)中的x)
字面变量不允许跨类型使用

为了便于理解第二个规定，下面例举几个字面变量跨类型使用的例子：

x 出现在不同的基本类型中：char(x)和varchar(x)
x 出现在同一种基本类型的不同位置：decimal(x,y) 和 decimal(z,x)
p 与不同的字面量、类型或者字面变量组合使用：decimal(p,s1) and decimal(p,s2)

还有一个限制是，如果尝试将实际参数类型decimal(1,0)赋给Signature中声明的decimal(x,2)，会失败，但是使用decimal(3,1)可以赋值成功。因为根据decimal的定义，precision 必须大于 scale，即x必须大于2。

经过一系列的规则匹配和变量求解，最终会返回一个具体的函数函数签名，签名中的类型都是具体类型(即不含变量)。比如简单 SQLselect isnull('a')，最终得到的Signature是isnull(varchar(1)):boolean，实参中的类型varchar(1)赋给了原先注册的isnull(T):boolean中的类型变量T。

再来看invoke方法，该方法首先会根据传入的Signature调用FunctionRegistry中的getScalarFunctionImplementation来获取最终的MethodHandle，然后使用具体的参数值来进行实际方法的调用(方法中若需要ConnectorSession，也在此进行注入)。因为函数注册维护的是QualifiedName->SqlFunction的映射关系，而调用getScalarFunctionImplementation时传入的Signature并没有记录变量与实参的绑定关系，所以这里需要再进行一次类型变量的求解，这一步的计算其实是可以避免的，因为在resolveFunction中其实已经拿到了变量绑定的关系，可以进行复用，所以340版本中已改为传入带绑定关系的FunctionBinding。函数注册时说明了一个函数可能有多个实现方法，接下来就是根据形参和实参的绑定关系，调用SqlFunction的specialize方法进行对应参数的 Java 类型的匹配，按照exactimplementation类型 -> specializedImplementation类型 -> genericImplement类型的顺序进行匹配，一旦匹配成功则直接返回匹配到的实现方法，如果方法中需要传入依赖变量，也在此步骤中根据绑定关系对MethodHandle进行参数值注入。因为对MethodHandle的反复编译会导致full GC(怀疑是触发了 JVM Bug)，所以 Presto 在FunctionRegistry中为三类函数分别做了个大小为1000，有效时长为1小时的缓存来避免这个问题。