Flink-sql平台化配置之flink-streaming-platform-web

        记录使用flink-streaming-platform-web平台化提交Flink任务。主要是记录通过这个工具提交flink任务的原理。

        相关参考:

        gitee地址:flink-streaming-platform-web: 基于flink-sql的实时流计算web平台

        github地址:https://github.com/zhp8341/flink-streaming-platform-web

1、idea本地开发

        可以查看:docs/idea-run.md · 无情(朱慧培)/flink-streaming-platform-web - Gitee.com

        真正用来提交任务的是flink-streamin-core下面的com.flink.streaming.core.JobApplication类。通过这个来创建flink任务所需要的执行环境以及解析我们需要提交的sql脚本等参数。

        例如:这里通过args来获取sql脚本所在的位置。

        注意:本地调试需要修改pom.xml中的scope。

2、通过前端页面来提交任务的流程

        由于尚未配置flink on yarn的环境,这里以Standalone模式为例:

2.1、新增系统设置

        通过前端页面来配置Flink环境的相关信息,这些信息都被记录在数据库当中。

2.2、通过前端页面编写提交参数以及sql语句

        当点击保存页面的时候,这些参数会保存在job_config表中,如下,包括我们所写的SQL也会是mediumtext的格式保存下来。

3.3、任务提交

3.3.1、点击提交任务

         当点击提交任务,会进入到JobStandaloneServerAOImpl.star(...)方法。在这里做了如下事情:

  1. 通过任务id获取这个任务的相关配置信息JobConfig,包括savepoint相关信息SavePointBackup。
  2. 将该任务的sql语句下载到本地,并返回该任务提交的一些参数jobRunParamDTO。
  3. 给状态表的该任务加上乐观锁,修改为提交中。
  4. 异步提交任务。
 public void start(Long id, Long savepointId, String userName) {

        JobConfigDTO jobConfigDTO = jobConfigService.getJobConfigById(id);

        //1、检查jobConfigDTO 状态等参数
        jobBaseServiceAO.checkStart(jobConfigDTO);

        // TODO 要不要检查集群上任务是否存在

        //2、将配置的sql 写入本地文件并且返回运行所需参数
        JobRunParamDTO jobRunParamDTO = jobBaseServiceAO.writeSqlToFile(jobConfigDTO);

        //3、插一条运行日志数据
        Long jobRunLogId = jobBaseServiceAO.insertJobRunLog(jobConfigDTO, userName);

        //4、变更任务状态(变更为:启动中) 有乐观锁 防止重复提交
        jobConfigService.updateStatusByStart(jobConfigDTO.getId(), userName, jobRunLogId, jobConfigDTO.getVersion());

        String savepointPath = savepointBackupService.getSavepointPathById(id, savepointId);

        //异步提交任务
        jobBaseServiceAO.aSyncExecJob(jobRunParamDTO, jobConfigDTO, jobRunLogId, savepointPath);

    }

3.3.2、构建执行命令并提交

public void aSyncExecJob(JobRunParamDTO jobRunParamDTO, JobConfigDTO jobConfigDTO,
                             Long jobRunLogId, String savepointPath){
    //1、构建执行命令
    command = CommandUtil.buildRunCommandForCluster(jobRunParamDTO, jobConfigDTO, savepointPath);
    //2、提交任务
    appId = this.submitJobForStandalone(command, jobConfigDTO, localLog);
    //3、修改任务状态
    this.updateStatusAndLog(jobConfigDTO, jobRunLogId, jobStatus, localLog.toString(), appId);
}

        上面异步提交任务的四个参数:

  1.  jobRunParamDTO:任务提交的主要参数,包括flink bin目录地址,flink运行参数,sql语句存放目录等信息
  2. jobConfigDTO:这里是该任务配置相关信息,如任务名、提交模式等
  3. jobRunLogId:这里主要是向mysql数据库的日志表中插入数据,表示该任务的提交
  4. savepointPath:通过该任务ip获取其savepoint路径

        在jobBaseServiceAO.aSyncExecJob(...)方法中最主要的是以上三行,构建执行命令,提交任务,修改任务状态。

        1、构建执行命令具体可以查看CommandUtil.buildRunCommandForCluster(...)方法。如下,可以构成一条完整的执行命令并返回。

/opt/module/flink-1.13.2/bin/flink run -d -c  com.flink.streaming.core.JobApplication /opt/module/flink-streaming-platform-web/lib/flink-streaming-core-1.3.0.RELEASE.jar -sql /opt/module/flink-streaming-platform-web/sql/job_sql_2.sql  -type 0

        2、命令提交,主要下面的commandRpcClinetAdapter.submitJob(...)方法。如下,是通过Runtime.getRuntime().exec(command)方法来提交

appId = this.submitJobForStandalone(command, jobConfigDTO, localLog);
    String appId = commandRpcClinetAdapter.submitJob(command, localLog, jobRunLogId, jobConfig.getDeployModeEnum());
    JobStandaloneInfo jobStandaloneInfo = flinkRestRpcAdapter.getJobInfoForStandaloneByAppId(appId,
                        jobConfig.getDeployModeEnum());

         3、由上所述,最终是执行了条如下命令:

/opt/module/flink-1.13.2/bin/flink run -d -c  com.flink.streaming.core.JobApplication /opt/module/flink-streaming-platform-web/lib/flink-streaming-core-1.3.0.RELEASE.jar -sql /opt/module/flink-streaming-platform-web/sql/job_sql_2.sql  -type 0

        这里最终是通过命令行的方式提交了JobApplication这个class。最后可以从1、idea本地开发查看其执行流程。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值