Flink 1.13 SQLClient源码解读


一、如何找到主类

从Flink编译后的bin目录里可以找到sql-client.sh文件,可以看到这个shell脚本里,启动的主类是org.apache.flink.table.client.SqlClient,于是我们从Flink 1.13的源码工程文件里找到对应的代码文件进行调试阅读。sql-client.sh
在这里插入图片描述

二、环境配置

在我们进行源码调试前,根据Flink中SqlClient的注释需要首先配置一下环境参数,否则可能会无法运行。
在这里插入图片描述
在这里插入图片描述

二、整体启动流程

  1. 运行程序的mian函数,执行启动sql客户端的操作;在这里插入图片描述
  2. startClient方法执行的时候,首先根据传入的参数,检测运行模式,如果没有设置,默认会设置成embedded模式;在这里插入图片描述
  3. 根据模式进行判断,如果是gateway就抛出异常显示暂不支持,其他的默认就打印提示信息,如果是embedded就接着往下执行;在这里插入图片描述
  4. 在embedded模式下,根据传入的args,初始化CliOptions在这里插入图片描述
  5. 判断CliOptions帮助操作是的话打印帮助信息,不是就继续往下执行;在这里插入图片描述
  6. 初始化SqlClient在这里插入图片描述
  7. SqlClient初始化后,就调用客户端的start方法启动客户端,进行工作,在启动过程中有问题,都会抛出异常,提示启动失败。在这里插入图片描述

start方法剖析

  1. 再次判断启动模式是否为embedded,如果不是抛出异常,如果是继续往下执行;

  2. 根据命令操作CliOptions初始化DefaultContext,其中初始化的信息有:jar包的信息、程序运行依赖的lib信息,从环境变量中获取Flink配置文件目录,并加载配置信息(这里就是为什么我们在调试代码前需要在IDEA中配置环境变量的原因)、加载自带的命令行模式、根据默认的配置文件sql-client-defaults.yaml初始化默认的environment、根据默认的environment再初始化sessionEnvironment、根据CliOptions的配置信息添加python配置、合并jar和lib里面所有的依赖信息discoverDependencies;在这里插入图片描述

  3. 根据默认的上下文DefaultContext初始化LocalExecutor,这个类主要是用于执行本地会话操作的。其中ConcurrentHashMap<String, SessionContext> contextMap用于存储多个session信息,而ResultStore resultStore用于维护执行的结果;

  4. 初始化LocalExecutor后,调用start方法启动LocalExecutor,实际什么start里也没有做;在这里插入图片描述

  5. LocalExecutor根据sessionid打开一打开会话在这里插入图片描述

  6. 在打开会话的时候,如果传入的sessionid为空,会用默认的default值作为id,然后创建会话上下文SessionContext,SessionContext中包含了元数据对象管理信息、函数管理信息、模块管理信息,创建好的会话上下文会被放到DefaultContext中的contextMap存起来,如果sessionid已经存在了,就会抛异常提示冲突的会话在这里插入图片描述

  7. 在jvm中增加hook函数,当jvm关闭的时候启动一个线程取消当前session正在执行的操作,并且把当前session从contextMap中移除;在这里插入图片描述

  8. 接下来会打开cli,执行实际的操作;在这里插入图片描述


openCli方法剖析

  1. 获取历史文件路径,如果没有就从用户目录获取flink-sql-history路径;
    在这里插入图片描述

  2. 判断是否既有sql文件,又有sql语句,如果是的话就抛出异常信息,如果不是就继续往下执行;在这里插入图片描述

  3. 初始化CliClient信息;在这里插入图片描述

  4. 判断是否有初始化sql文件,如果有就执行初始化sql语句,失败给出提示并返回,成功继续往下执行;在这里插入图片描述

  5. 判断是否有sql文件和更新操作语句,如果两个都没有就以交互模式执行,交互模式就是我们可以在命令输入sql语句然后执行的方式,如果有的话就以非交互模式执行。两种方式最后实际执行的操作都是一样的,只不过交互模式是从命令行里等待用户输入sql进行执行,而非交互模式是sql文件里读取语句进行执行,最后都是调用executeStatement方法执行操作的。在这里插入图片描述
    在这里插入图片描述

  6. executeStatement方法首先把sql语句解析成对应的Operation,然后再调用callOperation,根据具体的操作类型调用不同的执行方法,对于不同的操作交互式和非交互式又有不同的操作,后面有空再继续展开详细介绍sql具体的执行代码。
    在这里插入图片描述


总结

通过阅读源码可以看出目前SqlClient目前仅支持embedded模式运行,对于gateway的方式目前还不支持,后续应该会支持的。


  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值