idea debug flink1.12 sqlClient 源码

一、前言
此文章主要如何配置使能在idea 中debug模式启动flink sqlClient 客户端，通过执行flink sql debug源码查看flink解析sql提交任务到flink集群执行的原理。
了解sqlClient 代码 有以下好处：
1.改造 sqlClient 成为server端使之可以接收远端client服务传输的flink sql语句，并返回执行结果到远端client，从而有望可以实现flink开发平台。
主要软件如下：
flink 1.12.0 hive 2.3.4 hadoop 2.7.2
二、主要步骤

1.下载flink1.12的源码

官网下载地址如下：https://www.apache.org/dyn/closer.lua/flink/flink-1.12.0/flink-1.12.0-src.tgz

源码在idea中打开，主要查看 flink-table 项目的源码

2.找到flink sqlClient的启动类

由 sql-client 的启动脚本 sql-client.sh 可知，启动类为 SqlClient 类其main方法为整个sqlClient 的启动方法

3.添加启动类运行需要的参数和依赖包

由flink sqlClient 启动脚本命令为：
./sql-client.sh embedded
可知 需要添加 embedded 参数

由启动脚本由 -classpath 参数，可知运行sqlClient需要添加依赖包

在启动脚本中添加打印日志逻辑把 manglePathList "$CC_CLASSPATH:$INTERNAL_HADOOP_CLASSPATHS:$FLINK_SQL_CLIENT_JAR" 结果值打印出来

得到的结果是以：分隔开的需要依赖的jar包
使用以下脚本下载包到本地目录：D:\flink\lib

#  `manglePathList "$CC_CLASSPATH:$INTERNAL_HADOOP_CLASSPATHS:$FLINK_SQL_CLIENT_JAR"` 
jars=`hadoop classpath`
OLD_IFS="$IFS" 
IFS=":" 
arr=($jars) 
IFS="$OLD_IFS" 
for s in ${arr[@]} 
do 
    echo "$s" 
    sz $s
done

idea 中添加D:\flink\lib 目录上的包到项目中

4.添加flink的配置文件
运行main方法发现报了提示找不到配置文件的错，
发现读取了 FLINK_CONF_DIR 变量名的值作为配置文件路径

在idea 中添加系统变量 FLINK_CONF_DIR=D:\flink\conf

下载flink 的所有配置文件目录：/usr/local/apps/flink1.12/conf 下的所有配置文件 到D:\flink\conf 文件夹内

5.运行SqlClient 的main方法启动
启动成功 在idea的窗口中出现如下图案

6.flink中整合hive catalogs 支持执行hive 语句

修改 flink 的配置文件 sql-client-defaults.yaml 配置 hive catalogs


hive-conf-dir 中存放hive的配置文件

同时需要启动：hive --service metastore

7.执行语句检查是否提交到flink集群上

INSERT INTO test_hive SELECT ‘Jack’, 20;

select * from test_hive;

8.debug flink sql 执行流程

以debug 模式启动SqlClient 的main方法

执行 INSERT INTO test_hive SELECT ‘Jack’, 20; 语句
读取到flink sql

parseCommand 方法解析提交的flink sql
callCommand 方法执行flink sql


callCommand 方法中根据sql的类型执行不同的方法

这里执行的是callInsert

executor.executeUpdate 执行flink sql

后面的print 语句就是打印下面这内容