Calcite使用外部自定义函数

最新推荐文章于 2024-06-02 15:17:53 发布
最新推荐文章于 2024-06-02 15:17:53 发布
阅读量1k 收藏
点赞数
文章标签： 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kanyun123/article/details/132175350
版权

在calcite中可以通过自定义函数来实现丰富的算子,但是往往需要将自定义的函数包与Calcite集成在一起，才能使用相应的算子功能，由于业务需求多变，函数包可能面临频繁的更改，如果需要更改生效，则需要将Calcite的代码重新打包，并重启jvm才能获取最新的算子功能。那么能否更改现状，更新完函数包，通过api调用刷新注册函数呢？

首先我们引入一个外部的函数包。

D:\maven-3.6.3\repository\com\kanyun\func\1.0-SNAPSHOT\func-1.0-SNAPSHOT.jar

该包中只包含一个class。

package com.kanyun.func.string;
import java.util.Stack;

public class StringFuncUtil {

    /**
     * 字符串反转
     *
     * @param s
     * @return
     */
    public static String reverse(String s) {
        char[] str = s.toCharArray();
        Stack<Character> stack = new Stack<>();
        for (char aStr1 : str) {
            stack.push(aStr1);
        }
        StringBuilder reversed = new StringBuilder();
        while (!stack.isEmpty()) {
            reversed.append(stack.pop());
        }
        return reversed.toString();
    }
}

 可以看到com.kanyun.func.string.StringFuncUtil#reverse() 就是我们自定义的算子。

此时我们需要将该函数注册到calcite中。

由于该函数并不在我们calcite服务的classpath下,所以是无法直接进行注册的。

//java.lang.ClassNotFoundException: com.kanyun.func.string.StringFuncUtil
Class.forName("com.kanyun.func.string.StringFuncUtil")

因此第一步我们需要先加载这个函数包，最简单的形式是使用URLClassLoader来加载这个函数包，这里我自定义了一个类加载器来加载这个函数包

package com.kanyun.sql.func;

import java.io.File;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLClassLoader;
import java.util.List;

/**
 * 外部函数类加载器,单例模式。保证该类加载器在jvm中只存在一个实例
 * 此处配置类加载器主要是用来外部函数(非ClassPath中的jar)
 */
public class ExternalFuncClassLoader extends URLClassLoader {

    private static ExternalFuncClassLoader externalFuncClassLoader;

    /**
     * 私有的构造方法,禁止外部通过new方法创建类加载器实例
     * @param urls
     * @param parent
     */
    private ExternalFuncClassLoader(URL[] urls, ClassLoader parent) {
        super(urls, parent);
    }


    /**
     * 创建自定义类加载器实例
     *
     * @param urls
     * @param parent
     * @return
     */
    public static ExternalFuncClassLoader newInstance(URL[] urls, ClassLoader parent) {
        if (externalFuncClassLoader == null) {
//            如果传递的父加载器为null,则继承线程上下文类加载器
            externalFuncClassLoader = new ExternalFuncClassLoader(urls, parent == null ? Thread.currentThread().getContextClassLoader() : parent);

        }
        return externalFuncClassLoader;
    }

    /**
     * 添加jar
     *
     * @param files
     * @throws MalformedURLException
     */
    public void addJars(List<File> files) throws MalformedURLException {
        for (File file : files) {
            super.addURL(file.toURI().toURL());
        }
    }

    /**
     * 获取类加载器实例
     * @return
     */
    public static ExternalFuncClassLoader getInstance() {
        if (externalFuncClassLoader == null) {
            URL[] urls = {};
            externalFuncClassLoader = new ExternalFuncClassLoader(urls,  Thread.currentThread().getContextClassLoader() );

        }
        return externalFuncClassLoader;
    }
}

需要注意这个自定义类加载器是一个单例模式,这也就意味着，我们在创建和使用这个类加载器时是同一个对象。

创建类加载器

    /**
     * 从文件URL获取类加载器
     * 一次加载所有的外部函数,使用同一个类加载器,而不是加载一个外部jar就创建一个类加载器
     *
     * @param files
     * @return
     * @throws MalformedURLException
     */
    protected ClassLoader createClassLoaderFromFile(List<File> files) throws MalformedURLException {
        URL[] urls = new URL[files.size()];
        for (int i = 0; i < files.size(); i++) {
            urls[i] = files.get(i).toURI().toURL();
        }
        ExternalFuncClassLoader urlClassLoader = ExternalFuncClassLoader.newInstance(urls, ClassLoader.getSystemClassLoader());
        return urlClassLoader;
    }

使用创建出来的ClassLoader来解析jar包中的内容,并缓存其中的由public static修饰的方法。

在上面的函数包中,它将缓存com.kanyun.func.string.StringFuncUtil#reverse()方法来作为自定义函数使用！

    /**
     * 解析jar包
     * 并取出需要的函数,这里仅取出 public static 修饰的方法
     *
     * @param jarFile
     * @param classLoader
     * @throws ClassNotFoundException
     */
    private void parseJar(JarFile jarFile, ClassLoader classLoader) throws ClassNotFoundException {
        log.info("准备解析jar文件:{}", jarFile.getName());
//        得到jar包中的元素,包括目录
        Enumeration<JarEntry> entries = jarFile.entries();
        while (entries.hasMoreElements()) {
            JarEntry jarEntry = entries.nextElement();
//            判断是否是目录
            if (jarEntry.isDirectory()) continue;
            String fullName = jarEntry.getName();
//            判断文件是否是class文件
            if (!fullName.endsWith(".class")) continue;
            String className = fullName.substring(0, fullName.length() - 6).replaceAll("/", ".");
            Class<?> clazz;
            if (classLoader == null) {
//                对于当前非jvm进程的类路径来说,不指定类加载器是会报错的:java.lang.ClassNotFoundException,因为默认的类加载器是AppClassLoader,它加载classPath下的jar
                clazz = Class.forName(className);
            } else {
                clazz = Class.forName(className, true, classLoader);
            }
            cacheFunc(clazz, userDefineFunctions);
        }
    }

calcite自定义函数注册

 /**
     * 注册函数
     */
    public static void registerFunction(SchemaPlus schemaPlus) {
        log.debug("=======Schema:[{}],开始注册函数======", schemaPlus.getName());
        Set<Map.Entry<String, Class>> entries = userDefineFunctions.entrySet();
        entries.addAll(innerDefineFunctions.entrySet());
        for (Map.Entry<String, Class> entry : entries) {
            log.debug("待注册的函数信息：[{}.{}()]", entry.getValue().getName(), entry.getKey());
            try {
//                第一个参数为在SQL中使用的函数名,第二个参数是传入类及类的方法名所创建的函数实例.
//                例如:自定义的函数为com.kanyun.fun.CustomFunc#applyDate() 但是在写SQL时希望把函数名写为APPLY_DATE,此时第一个参数应为APPLY_DATE
                schemaPlus.add(entry.getKey(), ScalarFunctionImpl.create(entry.getValue(), entry.getKey()));
            } catch (Exception e) {
                log.error("函数注册异常!:", e);
            }
        }
    }

自此我们的代码还算完美，实现了自定义函数的注册功能。

那么我们实际使用下这个自定义函数看一下:

# reverse()即为我们自定义的算子
select id,reverse(title) from DB1.girl_pic

发现报错了。

java.sql.SQLException: Error while executing SQL "select id,reverse(title) from DB1.girl_pic": Error while compiling generated Java code:
public org.apache.calcite.linq4j.Enumerable bind(final org.apache.calcite.DataContext root) {
  final org.apache.calcite.linq4j.Enumerable _inputEnumerable = org.apache.calcite.schema.Schemas.enumerable((org.apache.calcite.schema.ScannableTable) root.getRootSchema().getSubSchema("DB1").getTable("girl_pic"), root);
  return new org.apache.calcite.linq4j.AbstractEnumerable(){
      public org.apache.calcite.linq4j.Enumerator enumerator() {
        return new org.apache.calcite.linq4j.Enumerator(){
            public final org.apache.calcite.linq4j.Enumerator inputEnumerator = _inputEnumerable.enumerator();
            public void reset() {
              inputEnumerator.reset();
            }

            public boolean moveNext() {
              return inputEnumerator.moveNext();
            }

            public void close() {
              inputEnumerator.close();
            }

            public Object current() {
              final Object[] current = (Object[]) inputEnumerator.current();
              return new Object[] {
                  current[0],
                  com.kanyun.func.string.StringFuncUtil.reverse(current[1] == null ? (String) null : current[1].toString())};
            }

          };
      }

    };
}


public Class getElementType() {
  return java.lang.Object[].class;
}



	at org.apache.calcite.avatica.Helper.createException(Helper.java:56) ~[avatica-core-1.23.0.jar:1.23.0]
	at org.apache.calcite.avatica.Helper.createException(Helper.java:41) ~[avatica-core-1.23.0.jar:1.23.0]
	at org.apache.calcite.avatica.AvaticaStatement.executeInternal(AvaticaStatement.java:164) ~[avatica-core-1.23.0.jar:1.23.0]
	at org.apache.calcite.avatica.AvaticaStatement.executeQuery(AvaticaStatement.java:228) ~[avatica-core-1.23.0.jar:1.23.0]
	at com.kanyun.sql.SqlExecutor.execute(SqlExecutor.java:137) ~[classes/:?]
	at com.kanyun.ui.event.ExecuteSqlService$1.call(ExecuteSqlService.java:69) ~[classes/:?]
	at com.kanyun.ui.event.ExecuteSqlService$1.call(ExecuteSqlService.java:66) ~[classes/:?]
	at javafx.concurrent.Task$TaskCallable.call(Task.java:1423) ~[jfxrt.jar:?]
	at java.util.concurrent.FutureTask.run$$$capture(FutureTask.java:266) ~[?:1.8.0_261]
	at java.util.concurrent.FutureTask.run(FutureTask.java) ~[?:1.8.0_261]
	at javafx.concurrent.Service.lambda$null$6(Service.java:725) ~[jfxrt.jar:?]
	at java.security.AccessController.doPrivileged(Native Method) ~[?:1.8.0_261]
	at javafx.concurrent.Service.lambda$executeTask$7(Service.java:724) ~[jfxrt.jar:?]
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[?:1.8.0_261]
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[?:1.8.0_261]
	at java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_261]
Caused by: java.lang.RuntimeException: Error while compiling generated Java code:
public org.apache.calcite.linq4j.Enumerable bind(final org.apache.calcite.DataContext root) {
  final org.apache.calcite.linq4j.Enumerable _inputEnumerable = org.apache.calcite.schema.Schemas.enumerable((org.apache.calcite.schema.ScannableTable) root.getRootSchema().getSubSchema("DB1").getTable("girl_pic"), root);
  return new org.apache.calcite.linq4j.AbstractEnumerable(){
      public org.apache.calcite.linq4j.Enumerator enumerator() {
        return new org.apache.calcite.linq4j.Enumerator(){
            public final org.apache.calcite.linq4j.Enumerator inputEnumerator = _inputEnumerable.enumerator();
            public void reset() {
              inputEnumerator.reset();
            }

            public boolean moveNext() {
              return inputEnumerator.moveNext();
            }

            public void close() {
              inputEnumerator.close();
            }

            public Object current() {
              final Object[] current = (Object[]) inputEnumerator.current();
              return new Object[] {
                  current[0],
                  com.kanyun.func.string.StringFuncUtil.reverse(current[1] == null ? (String) null : current[1].toString())};
            }

          };
      }

    };
}


public Class getElementType() {
  return java.lang.Object[].class;
}



	at org.apache.calcite.avatica.Helper.wrap(Helper.java:37) ~[avatica-core-1.23.0.jar:1.23.0]
	at org.apache.calcite.adapter.enumerable.EnumerableInterpretable.toBindable(EnumerableInterpretable.java:128) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.CalcitePrepareImpl$CalcitePreparingStmt.implement(CalcitePrepareImpl.java:1159) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.Prepare.prepareSql(Prepare.java:324) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.Prepare.prepareSql(Prepare.java:220) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.CalcitePrepareImpl.prepare2_(CalcitePrepareImpl.java:665) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.CalcitePrepareImpl.prepare_(CalcitePrepareImpl.java:519) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.CalcitePrepareImpl.prepareSql(CalcitePrepareImpl.java:487) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.jdbc.CalciteConnectionImpl.parseQuery(CalciteConnectionImpl.java:236) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.jdbc.CalciteMetaImpl.prepareAndExecute(CalciteMetaImpl.java:621) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.avatica.AvaticaConnection.prepareAndExecuteInternal(AvaticaConnection.java:677) ~[avatica-core-1.23.0.jar:1.23.0]
	at org.apache.calcite.avatica.AvaticaStatement.executeInternal(AvaticaStatement.java:157) ~[avatica-core-1.23.0.jar:1.23.0]
	... 13 more
Caused by: org.codehaus.commons.compiler.CompileException: Line 24, Column 57: Unknown variable or type "com.kanyun.func.string.StringFuncUtil"
	at org.codehaus.janino.UnitCompiler.compileError(UnitCompiler.java:12969) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.getType2(UnitCompiler.java:7162) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$14300(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$23.visitPackage(UnitCompiler.java:6647) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$23.visitPackage(UnitCompiler.java:6644) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$Package.accept(Java.java:4627) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.getType(UnitCompiler.java:6644) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.getType2(UnitCompiler.java:7157) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$18100(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$26.visitAmbiguousName(UnitCompiler.java:6748) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$26.visitAmbiguousName(UnitCompiler.java:6747) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$AmbiguousName.accept(Java.java:4603) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.getType(UnitCompiler.java:6747) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$15100(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$25.visitLvalue(UnitCompiler.java:6708) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$25.visitLvalue(UnitCompiler.java:6705) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$Lvalue.accept(Java.java:4528) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.getType(UnitCompiler.java:6705) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$14400(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$23.visitRvalue(UnitCompiler.java:6653) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$23.visitRvalue(UnitCompiler.java:6644) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$Rvalue.accept(Java.java:4495) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.getType(UnitCompiler.java:6644) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.findIMethod(UnitCompiler.java:9355) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGet2(UnitCompiler.java:5195) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$9300(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$16.visitMethodInvocation(UnitCompiler.java:4698) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$16.visitMethodInvocation(UnitCompiler.java:4674) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$MethodInvocation.accept(Java.java:5470) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGet(UnitCompiler.java:4674) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGetValue(UnitCompiler.java:5817) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$3800(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$7.visitRvalue(UnitCompiler.java:2729) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$7.visitRvalue(UnitCompiler.java:2717) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$Rvalue.accept(Java.java:4498) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:2717) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGetValue(UnitCompiler.java:5787) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGet2(UnitCompiler.java:5760) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$9900(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$16.visitNewInitializedArray(UnitCompiler.java:4709) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$16.visitNewInitializedArray(UnitCompiler.java:4674) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$NewInitializedArray.accept(Java.java:5770) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGet(UnitCompiler.java:4674) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGetValue(UnitCompiler.java:5817) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:2811) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$2800(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$6.visitReturnStatement(UnitCompiler.java:1573) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$6.visitReturnStatement(UnitCompiler.java:1558) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$ReturnStatement.accept(Java.java:3888) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:1558) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileStatements(UnitCompiler.java:1644) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:3621) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:3292) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileDeclaredMethods(UnitCompiler.java:1430) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileDeclaredMethods(UnitCompiler.java:1403) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:829) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:1026) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:996) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$200(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$3.visitAnonymousClassDeclaration(UnitCompiler.java:420) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$3.visitAnonymousClassDeclaration(UnitCompiler.java:418) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$AnonymousClassDeclaration.accept(Java.java:1377) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:418) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGet2(UnitCompiler.java:5675) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$9700(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$16.visitNewAnonymousClassInstance(UnitCompiler.java:4707) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$16.visitNewAnonymousClassInstance(UnitCompiler.java:4674) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$NewAnonymousClassInstance.accept(Java.java:5635) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGet(UnitCompiler.java:4674) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGetValue(UnitCompiler.java:5817) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:2811) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$2800(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$6.visitReturnStatement(UnitCompiler.java:1573) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$6.visitReturnStatement(UnitCompiler.java:1558) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$ReturnStatement.accept(Java.java:3888) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:1558) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileStatements(UnitCompiler.java:1644) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:3621) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:3292) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileDeclaredMethods(UnitCompiler.java:1430) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileDeclaredMethods(UnitCompiler.java:1403) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:829) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:1026) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:996) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$200(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$3.visitAnonymousClassDeclaration(UnitCompiler.java:420) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$3.visitAnonymousClassDeclaration(UnitCompiler.java:418) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$AnonymousClassDeclaration.accept(Java.java:1377) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:418) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGet2(UnitCompiler.java:5675) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$9700(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$16.visitNewAnonymousClassInstance(UnitCompiler.java:4707) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$16.visitNewAnonymousClassInstance(UnitCompiler.java:4674) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$NewAnonymousClassInstance.accept(Java.java:5635) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGet(UnitCompiler.java:4674) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileGetValue(UnitCompiler.java:5817) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:2811) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$2800(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$6.visitReturnStatement(UnitCompiler.java:1573) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$6.visitReturnStatement(UnitCompiler.java:1558) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$ReturnStatement.accept(Java.java:3888) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:1558) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileStatements(UnitCompiler.java:1644) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:3621) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:3292) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileDeclaredMethods(UnitCompiler.java:1430) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileDeclaredMethods(UnitCompiler.java:1403) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:829) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:442) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$400(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$3.visitPackageMemberClassDeclaration(UnitCompiler.java:422) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$3.visitPackageMemberClassDeclaration(UnitCompiler.java:418) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$PackageMemberClassDeclaration.accept(Java.java:1688) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:418) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:392) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.access$000(UnitCompiler.java:236) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$2.visitCompilationUnit(UnitCompiler.java:363) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler$2.visitCompilationUnit(UnitCompiler.java:361) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.Java$CompilationUnit.accept(Java.java:371) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.UnitCompiler.compileUnit(UnitCompiler.java:361) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.SimpleCompiler.cook(SimpleCompiler.java:264) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.SimpleCompiler.compileToClassLoader(SimpleCompiler.java:517) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.SimpleCompiler.cook(SimpleCompiler.java:241) ~[janino-3.1.8.jar:?]
	at org.codehaus.janino.SimpleCompiler.cook(SimpleCompiler.java:219) ~[janino-3.1.8.jar:?]
	at org.codehaus.commons.compiler.Cookable.cook(Cookable.java:82) ~[commons-compiler-3.1.8.jar:?]
	at org.codehaus.commons.compiler.Cookable.cook(Cookable.java:77) ~[commons-compiler-3.1.8.jar:?]
	at org.apache.calcite.adapter.enumerable.EnumerableInterpretable.compileToBindable(EnumerableInterpretable.java:174) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.adapter.enumerable.EnumerableInterpretable.getBindable(EnumerableInterpretable.java:168) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.adapter.enumerable.EnumerableInterpretable.toBindable(EnumerableInterpretable.java:125) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.CalcitePrepareImpl$CalcitePreparingStmt.implement(CalcitePrepareImpl.java:1159) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.Prepare.prepareSql(Prepare.java:324) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.Prepare.prepareSql(Prepare.java:220) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.CalcitePrepareImpl.prepare2_(CalcitePrepareImpl.java:665) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.CalcitePrepareImpl.prepare_(CalcitePrepareImpl.java:519) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.prepare.CalcitePrepareImpl.prepareSql(CalcitePrepareImpl.java:487) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.jdbc.CalciteConnectionImpl.parseQuery(CalciteConnectionImpl.java:236) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.jdbc.CalciteMetaImpl.prepareAndExecute(CalciteMetaImpl.java:621) ~[calcite-core-1.34.0.jar:1.34.0]
	at org.apache.calcite.avatica.AvaticaConnection.prepareAndExecuteInternal(AvaticaConnection.java:677) ~[avatica-core-1.23.0.jar:1.23.0]
	at org.apache.calcite.avatica.AvaticaStatement.executeInternal(AvaticaStatement.java:157) ~[avatica-core-1.23.0.jar:1.23.0]
	... 13 more
2023-08-09 10:00:14.114 ERROR [JavaFX Application Thread] c.k.u.e.ExecuteSqlService                : 异步SQL执行任务异常:

这个错误我们分两部分看：

第一部分：

java.sql.SQLException: Error while executing SQL "select id,reverse(title) from DB1.girl_pic": Error while compiling generated Java code:
...................省略报错
java.sql.SQLException: Error while executing SQL "select id,reverse(title) from DB1.girl_pic": Error while compiling generated Java code:
public org.apache.calcite.linq4j.Enumerable bind(final org.apache.calcite.DataContext root) {

意思是janino在将sql编译成java代码报错(calcite利用janino生成代码这块不再细说了)

第二部分：

........省略报错信息
Caused by: org.codehaus.commons.compiler.CompileException: Line 24, Column 57: Unknown variable or type "com.kanyun.func.string.StringFuncUtil"
	at org.codehaus.janino.UnitCompiler.compileError(UnitCompiler.java:12969) ~[janino-3.1.8.jar:?]
........省略报错信息

意思是报错的原因是未找到变量:com.kanyun.func.string.StringFuncUtil而这个变量正是我们自定义函数所在的类！

经过调试发现报错的位置是:类org.codehaus.janino.UnitCompiler#getType()

    private IType
    getType(Atom a) throws CompileException {

        IType result = (IType) a.accept(new AtomVisitor<IType, CompileException>() {
            // 此处报错
            @Override public IType
            visitPackage(Package p) throws CompileException { return UnitCompiler.this.getType2(p); }

            @Override @Nullable public IType
            visitType(Type t) throws CompileException { return UnitCompiler.this.getType(t); }

            @Override @Nullable public IType
            visitRvalue(Rvalue rv) throws CompileException { return UnitCompiler.this.getType(rv); }

            @Override @Nullable public IType
            visitConstructorInvocation(ConstructorInvocation ci) throws CompileException {
                return UnitCompiler.this.getType2(ci);
            }
        });

        assert result != null;
        return result;
    }

其中Atom的参数即为我们自定义函数所在的类 

其中Atom是一个典型的访问者模式

而报错的这个地方是janino框架，janino简介

因此猜想这个报错原因是加载不到我们自定义函数所在的类:com.kanyun.func.string.StringFuncUtil

虽然我们通过自定义类加载器加载了自定义的外部函数包，但是janino执行代码的时候使用的不一定是我们自定义的类加载器，所以有可能加载不到，经过调试发现,当前执行代码块的类加载器是AppClassLoader,也即Atom(我们的自定义类加载器是AppClassLoader)

 但实际上这个类并不是AppClassLoader来加载的，而是我们使用上面的自定义类加载器加载的。

此时忽然想到自己的业务代码调用Calcite执行SQL是异步的,或许janino并不能使用自定义的类加载器。

不过既然找到了报错的地方是janino框架,那么Calcite又是如何调用Janino的呢？

经过一段时间查阅资料,发现在calcite 模块的类org.apache.calcite.rel.metadata.JaninoRelMetadataProvider#compile()方法调用了Janino

而调用了org.apache.calcite.rel.metadata.JaninoRelMetadataProvider#compile()的方法是，

org.apache.calcite.rel.metadata.JaninoRelMetadataProvider#generateCompileAndInstantiate()方法

  private static <MH extends MetadataHandler<?>> MH generateCompileAndInstantiate(
      Class<MH> handlerClass,
      List<? extends MetadataHandler<? extends Metadata>> handlers) {

    final List<? extends MetadataHandler<? extends Metadata>> uniqueHandlers = handlers.stream()
        .distinct()
        .collect(Collectors.toList());
    // 生成Handler,字符串拼接生成代码
    RelMetadataHandlerGeneratorUtil.HandlerNameAndGeneratedCode handlerNameAndGeneratedCode =
        RelMetadataHandlerGeneratorUtil.generateHandler(handlerClass, uniqueHandlers);

    try {
      // 最终编译上面的handler
      return compile(handlerNameAndGeneratedCode.getHandlerName(),
          handlerNameAndGeneratedCode.getGeneratedCode(), handlerClass, uniqueHandlers);
    } catch (CompileException | IOException e) {
      throw new RuntimeException("Error compiling:\n"
          + handlerNameAndGeneratedCode.getGeneratedCode(), e);
    }
  }

从方法名可以看出是生成和编译实例类(该方法在旧版本的calcite中是load3()方法)

RelMetadataQuery这个类看名字就可以判断出它是用于获取元数据的。但是获取具体元数据的方法实现并不是直接依靠RelMetadataQuery。RelMetadataQuery对象有很多handler对象，获取某一方面类型的元数据都需要依靠对应的handler。

在calcite的源码中是找不到这些handler的实现的，只能找到这些handler的接口。 calcite内部很多地方使用了动态代码生成和编译。这些handler了也不例外也是在运行时生成具体实现并且编译后实例化对象的。 而这些handler的代码生成都在JaninoRelMetadataProvider#load3方法中实现

这里我使用的Calcite版本是：1.34.0

跑题了，类加载的问题还没解决，我们重点还是看一下org.apache.calcite.rel.metadata.JaninoRelMetadataProvider#compile()方法

  static  <MH extends MetadataHandler<?>> MH compile(String className,
      String generatedCode, Class<MH> handlerClass,
      List<? extends Object> argList) throws CompileException, IOException {
    // 定义编译器工厂类(janino模块)
    final ICompilerFactory compilerFactory;
    ClassLoader classLoader =
        Objects.requireNonNull(JaninoRelMetadataProvider.class.getClassLoader(), "classLoader");
    try {
      // 获取编译器工厂类(janino模块)
      compilerFactory = CompilerFactoryFactory.getDefaultCompilerFactory(classLoader);
    } catch (Exception e) {
      throw new IllegalStateException(
          "Unable to instantiate java compiler", e);
    }
    
     // 创建一个新的编译器(janino模块) ISimpleCompiler 是一个接口
    final ISimpleCompiler compiler = compilerFactory.newSimpleCompiler();
    // 设置创建出来的编译器的父类加载器(janino模块,重要)
    compiler.setParentClassLoader(JaninoRexCompiler.class.getClassLoader());

    if (CalciteSystemProperty.DEBUG.value()) {
      // Add line numbers to the generated janino class
      compiler.setDebuggingInformation(true, true, true);
      System.out.println(generatedCode);
    }

    compiler.cook(generatedCode);
    final Constructor constructor;
    final Object o;
    try {
      constructor = compiler.getClassLoader().loadClass(className)
          .getDeclaredConstructors()[0];
      o = constructor.newInstance(argList.toArray());
    } catch (InstantiationException
        | IllegalAccessException
        | InvocationTargetException
        | ClassNotFoundException e) {
      throw new RuntimeException(e);
    }
    return handlerClass.cast(o);
  }

上面的代码描述了Calcite调用Janino编译代码的过程，其中有一个非常重要步骤：就是设置编译器的父类加载器的。通过debug我们发现编译器的具体实现是 org.codehaus.janino.SimpleCompiler类。同时我们查看下设置父类加载器的代码

    @Override public void
    setParentClassLoader(@Nullable ClassLoader parentClassLoader) {
        this.parentClassLoader = (
            parentClassLoader != null
            ? parentClassLoader
            : Thread.currentThread().getContextClassLoader()
        );
    }

通过这个方法的代码,我们发现了一个成员变量,即：org.codehaus.janino.SimpleCompiler#parentClassLoader 同时发现它有一个默认的实现，就是使用的是线程上下文类加载器

这也就意味着如果我们调用执行SQL之前先设置线程上下文类加载器,那么这个成员变量的值就应还是我们设置的线程上下文类加载器,还记得之前我们自定义的类加载器吗？由于自定义类加载器使用了单例模式,因此保证加载外部自定义的类加载器与我们将要设置的线程上下文类加载器是同一个实例，同时为了验证上下文类加载器是否设置成功，还应该在执行SQL之前验证一下类的加载是否存在问题。

......省略代码

//        由于sql执行是异步操作,因此需要在此处重新设置线程上下文类加载器
        Thread.currentThread().setContextClassLoader(ExternalFuncClassLoader.getInstance());
//       验证上下文类加载器是否设置成功(不报错即为设置成功)
 Class<?> clazz = Class.forName("com.kanyun.func.string.StringFuncUtil", false, Thread.currentThread().getContextClassLoader());

......省略代码

//        执行SQL
ResultSet resultSet = statement.executeQuery(sql);

此时继续执行SQL，由于我们在执行SQL前添加了验证代码，执行时是通过的，同时我们还在

org.codehaus.janino.SimpleCompiler#parentClassLoader属性上添加了断点，可以观察到

它的属性值已经是我们自定义的类加载器了

但是在执行SQL过程中发现还是报错了。并且错误与之前一致。依然还是找不到的类的问题

再次debug发现报错位置的的类加载器依然是AppclassLoader。可是在执行SQL之前明明已经设置了线程上下文类加载器了啊。

回到刚才设置父类加载器的位置通过观察发现：

org.codehaus.janino.SimpleCompiler#setParentClassLoader()方法可能会更改默认parentClassLoader

打上断点调试：

通过断点发现,org.codehaus.janino.SimpleCompiler#parentClassLoader属性的值被setParentClassLoader()方法给改变了。

查下setParentClassLoader()方法被谁调用了,由于上面已经找过，因此很容易找到调用位置。

org.apache.calcite.rel.metadata.JaninoRelMetadataProvider#compile()调用

 通过在此处打断点，发现代码确实执行到了此处。而且发现org.apache.calcite.rel.metadata.JaninoRelMetadataProvider类例属于Calcite模块。

其调用setParentClassLoader()方法的参数则是org.apache.calcite.interpreter.JaninoRexCompiler的类加载器。

这也同时说明了org.apache.calcite.interpreter.JaninoRexCompile的类加载器是AppClassLoader

而org.apache.calcite.interpreter.JaninoRexCompile也属于Calcite模块。

由上面的代码发现，janino的 

org.codehaus.janino.SimpleCompiler#parentClassLoader是获取到了我们的自定义类加载器，但是由于外部调用了org.codehaus.janino.SimpleCompiler#setParentClassLoader()改变了org.codehaus.janino.SimpleCompiler#parentClassLoader属性。
因此思路就比较清晰了
1：类org.apache.calcite.interpreter.JaninoRexCompiler的加载时机
2：是否可以更改org.apache.calcite.interpreter.JaninoRexCompiler的类加载器

通过排查并没有找到org.apache.calcite.interpreter.JaninoRexCompiler是什么时候被加载的

此时问题就比较尴尬了，我们使用的自定义类加载器虽然可以加载解析注册自定义的函数，但是当janino去编译生成代码的时候又使用了AppClassLoader,导致无法找到类，因此如何使AppClassLoader能够加载到外部的函数就成了首要问题。

首先我们看一下AppClassloader的源码，发现AppClassloader是一个静态内部类

在sun.misc.Launcher类下

 由于AppClassloader继承自URLClassLoader,因此我们可以将AppClassLoader的实例强转为URLClassLoader类型,然后反射调用addURL方法。

因此在使用自定义类加载器加载解析注册自定义的外部函数的同时，也需要使用反射的形式使AppClassLoader能够加载到外部的自定义函数。最后试一下效果！成功执行了SQL

kanyun123
关注
Table API之用户自定义函数User-defined Functions详解
L
08-18 70
目前，Flink区分了以下几种函数：（1）标量函数（）将标量值映射到新的标量值。（2）表函数（）将标量值映射到新行。（3）聚合函数（）将多行的标量值映射到新的标量值。（4）表聚合函数（）将多行的标量值映射到新行。（5）异步表函数（）是表源执行查找的特殊函数。下面的示例展示了如何创建一个简单的标量函数，以及如何在Table API和SQL中调用该函数。对于SQL查询，函数必须始终以名称注册。对于Table API，可以注册函数或直接内联使用函数。
Table API和SQL 原理与代码实例讲解
最新发布
AI天才研究院
08-13 430
Table API和SQL 原理与代码实例讲解 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 Table API和SQL的起源与发展
Apache Calcite教程-SQL解析-Calcite自定义语法解析
quxiuchengdev的专栏
04-25 1万+
Calcite自定义SQL解析常用方法和配置config.fmpp配置和Parser.jj文件结合说明package,class,importskeywordsnonReservedKeywordsjoinTypesstatementParserMethodsliteralParserMethodsdataTypeParserMethodsalterStatementParserMethodsc...
初识Calcite——使用实例
热门推荐
Hello World
11-18 3万+
学习使用Calcite
Apache Calcite - 自定义标量函数
Revivedsun的专栏
06-02 934
为了方便演示，我们实现一个无用的简单方法，对整数减1接着扩展前文中用到的schema，实现getFunctionMultimap方法，并增加添加函数的方法@Override@Override最后我们在schema中注册函数完成上述工作后，在sql中使用自定义的函数打印结果，可以看到自定义方法的计算结果95 9421 2047 46实现自定义标量函数，注册到schema最后使用，schema是核心，维护了各类元信息，并提供了扩展接口来实现自定义的能力。
Calcite语法验证及自定义函数添加
weixin_36603066的博客
07-10 1098
calcite语法有效性校验
Calcite中注册函数
ccllcaochong1的博客
06-22 2485
很多同学在使用Calcite的过程中需要自定义函数， 现在讲讲如何定自义函数 1. Calcite 内置函数和对应的流程 Calcite中内置的函数主要在SqlStdOperatorTable中， 包括常见的算术运算符、时间函数等。现在就以一个列子来说明在SqlStdOperatorTable 中添加函数以达到注册函数的功能 在SqlStdOperatorTable.java 中添加对应函数...
Apache Calcite - 使用内置函数
Revivedsun的专栏
06-01 1256
Apache Calcite 提供了广泛的 SQL 函数支持，包括但不限于标准的 SQL 函数（如聚合函数、数学函数、字符串函数等）以及一些 Calcite 特有的扩展函数。这些函数可以在 SQL 查询中使用，以执行复杂的数据处理和分析任务。详细的介绍可以参考[1]。下面是对参考手册中函数的分类介绍聚合函数：如 COUNT, SUM, AVG, MIN, MAX 等。数学函数：如 ABS, EXP, LOG, POWER, SQRT, SIN, COS 等。
【Teradata】Latin和Unicode字符集转换（自定义函数udf_w936to16和udf16tow936）
weixin_30908649的博客
07-02 1535
1.安装UDF函数 （1）下载GBK2Unicode.zip，地址为https://downloads.teradata.com/tag/udf （2）windows或者Linux环境下使用bteq进行安装。 进入文件所在目录，输入如下bteq命令登录数据库（windows中使用dos） bteq .logon 192.168.253.222/dbc,dbc; 输入如下命令安装U...
Hive使用Calcite CBO优化流程及SQL优化实战
zzzzMing -大数据/数据分析/数据挖掘
09-22 1356
文章目录Hive SQL执行流程Hive debug简单介绍Hive SQL执行流程Hive 使用Calcite优化Hive Calcite优化流程Hive Calcite使用细则Hive向Calcite提供元数据 上一篇主要对Calcite的背景，技术特点，SQL的RBO和CBO等做了一个初步的介绍。深入浅出Calcite与SQL CBO（Cost-Based Optimizer）优化 这一篇会从Hive入手，介绍Hive如何使用Calcite来优化自己的SQL，主要从源码的角度进行介绍。文末附有一篇其他
使用Calcite解析Sql做维表关联(二)
张普的专栏
02-15 1513
点击箭头处“蓝色字”，关注我们哦！！继上一篇中使用Calcite解析Sql做维表关联(一) 介绍了建表语句解析方式以及使用calcite解析解析流表join维表方法，这一篇将会介绍如何使...
Apache Calcite-添加聚合函数（MODE Aggregation Function）
Nobigo
08-12 963
由于在Apache Calcite社区贡献了聚合函数的PR且被合入，这篇博客主要记录一下聚合函数的实现过程以及注意事项。 添加聚合函数步骤 在Parser.jj添加关键字（这个可以根据实际情况添加，由于当前MODE函数只在PostGresql中实现，因此在合入时候没有将MODE添加为关键字） 新增函数解析 在SqlKind新增Aggregation Function函数MODE 在SqlStdOperatorTable（中保存了SqlOperator和SqlFunction）中新增MODE函数定义
【Calcite】Apache Calcite 框架初探及概念详解
yiyezhiqiu167的博客
10-18 8083
1. 简介 Calcite 是什么？如果用一句话形容 Calcite，Calcite 是一个用于优化异构数据源的查询处理的基础框架。 最近十几年来，出现了很多专门的数据处理引擎。例如列式存储 (HBase)、流处理引擎 (Flink)、文档搜索引擎 (Elasticsearch) 等等。这些引擎在各自针对的领域都有独特的优势，在现有复杂的业务场景下，我们很难只采用当中的某一个而舍弃其他的数据引擎。当引擎发展到一定成熟阶段，为了减少用户的学习成本，大多引擎都会考虑引入 SQL 支持，但如何避免重复造轮子又成了
calcite教程【中文版】
白乔专栏
05-20 1万+
最近有个项目需要用到calcite，无奈网上的中文资料不是很多，找到官方教程，怒译之~~~放到CSDN上，与广大同行共享。本文由白乔翻译 原始英文网址：http://calcite.apache.org/docs/tutorial.html 译文网址：calcite教程本教程指引如何一步一步地生成并连接到Calcite。该教程通过使用一个简单的适配器（adapter），将一个CSV文件的目录模拟
自定义聚合函数
07-27
NULL 博文链接：https://yizhilong28.iteye.com/blog/668958
使用 Apache Calcite 进行数据清洗与预处理
AI天才研究院
12-31 1384
1.背景介绍 数据清洗与预处理是数据挖掘和机器学习中的关键环节，它涉及到数据的质量检查、噪声去除、缺失值处理、数据类型转换、数据归一化等多种操作。在大数据环境下，数据量巨大，数据源多样化，数据质量问题更加突出。因此，高效、可扩展的数据清洗与预处理技术成为了研究的热点和需求。 Apache Calcite 是一个开源的数据库查询引擎，它提供了一种灵活的查询语言(SQL)来查询各种数据源，并且可以...
掌握Flink SQL核心原理，解锁企业级流批数据处理新境界
击水三千里的专栏
09-09 813
Flink SQL结合动态表与持续查询，通过Table API和SQL简化流批数据处理，支持多种流连接方式，广泛应用于企业级数据平台
Apache Flink®极简教程: 架构及原理 Stateful Computations over Data Streams
AI天才研究院
12-28 9334
Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams关键词分布式流处理分布式计算引擎All s...
Apache Calcite 快速入门指南
duanmu1993的专栏
10-02 716
可以看到，经过 CsvProjectTableScanRule 优化后，逻辑计划树中只有一个 CsvTableScan 算子，内部包含了 table 和 fields，可以在数据扫描时过滤投影列（和 Projection 下推类似，我们也可以将 Filter 下推到 TableScan 中，减少加载到内存的数据行，Filter 下推读者可以自行尝试下）。本文由于篇幅原因，先从优化器的外部接口了解其功能，暂时不做过多的探究，在后续的文章中，我们将深入学习这两种优化器的内部实现。Calcite 优化器会调用。
[Apache Calcite] 添加自定义运算符
junwen的博客
02-07 1050
/** "MYAGG" user-defined aggregate function. This agg function accept two numeric arguments * in order to reproduce the throws of CALCITE-2744. */ public static class MyAvgAggFunction ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值