presto catalog 动态加载

最近我们在尝试在k8s上部署presto，现在有一个比较难处理的问题就是：presto的catalog的出现变更的时候（增，删，改），presto需要进行滚动升级；而比较理想的方式是：presto的catalog可以动态的增删改，只在presto版本升级的时候才进行镜像发版；

目前公司catalog主要有hive，mysql，kudu这3种类别；hive和kudu的catalog几乎不存在变更的情况，所以我们只需要考虑mysql连接器的变更需求；

实现presto catalog的动态加载有两种比较简单的方式：“推”和“拉”；

“推”：也就是presto server 实例暴露一个catalog变更的接口，由客户端发送catalog 变更的请求，presto server接收到catalog变更请求，更新自身的catalog元数据；这里需要注意的是，客户端需要给所有的presto server（coordinator和worker）发送catalog变更请求

“拉”：presto server 启动一个定时器，每隔固定时间去拉取最新的catalog，更新自身的catalog元数据；

“推”这种方式的优点是catalog更新实时性高，缺点是更改的代码比较多；“拉”这种方式正好和“推”这方式相反；我们这边采用后一种方式。

更新策略是：每隔十分钟获得最新的catalog信息，并与现有的catalog进行比对，然后更新catalog。

现在需要一个接口提供catalog的数据(公司数据平台对catalog进行了维护，这也是为什么采用“拉”这种方式),接口样例代码如下，

注意：为了方便调试，密码没有加密

@Controller
@RequestMapping("/v1")
public class CatalogController {

    private String c_split = "\1";
    private String f_split = "\2";
    
    @ResponseBody
    @RequestMapping(value= "catalog",method = RequestMethod.GET,produces="application/json;charset=UTF-8")
    public String getResponse() {
        return catalogs();
    }
    public static String catalogs(){
        StringBuilder sb = new StringBuilder();
        sb.append("m_mysql1").append(f_split)
                .append("jdbc:mysql://127.0.0.1:3306?zeroDateTimeBehavior=convertToNull").append(f_split)
                .append("root").append(f_split).append("123456").append(c_split)

                .append("m_mysql2").append(f_split)
                .append("jdbc:mysql://127.0.0.1:3306?zeroDateTimeBehavior=convertToNull").append(f_split)
                .append("root").append(f_split).append("123456")
        ;
        return sb.toString();
    }
    
}

Presto的版本是0.223,下载相应版本的presto源码；需要修改的代码git地址：https://github.com/woloqun/presto_catalogs/blob/master/StaticCatalogStore.java

，替换StaticCatalogStore.java，重新打包presto-main包，命令如下

mvn clean package -DskipTests -pl presto-main -Dair.check.skip-all=true -Dmaven.javadoc.skip=true

编译完后，替换presto/lib/presto-main-0.223.jar,重启即可