Flink源码分析(1)Flink Per-Job启动流程分析

        深入学习Apache Flink提交流程的源码对于理解和优化Flink应用程序至关重要。源码阅读将揭示Flink运行时系统的内部工作原理,包括作业提交、调度、任务执行等关键流程。通过深入源码,你将更好地理解Flink的执行模型、任务调度策略和容错机制。这种深度理解有助于解决性能问题、调优应用程序,并在特定场景下优化资源利用率。此外,学习Flink提交流程的源码还有助于扩展Flink,定制化特定功能,以满足个性化需求。总的来说,源码学习是成为Flink高级用户和贡献者的关键一步,为构建高效、稳定的流处理应用奠定基础。本文Flink源码分析基于软件版本flink-1.16.0。

  1. Flink源码分析让我们从flink per job启动脚本开始,如下:

    ./bin/flink run \
    -t yarn-per-job \
    --detached ./examples/streaming/WorldCount.jar

    根据启动任务,首先会进入shell脚本./bin/flink中执行;

  2. 让我们跟踪调用过程:

    ......
    # get flink config
    . "$bin"/config.sh
    ......
    # Add HADOOP_CLASSPATH to allow the usage of Hadoop file systems
    exec "${JAVA_RUN}" ...... org.apache.flink.client.cli.CliFrontend "$@"
    ......

    根据shell脚本内容可知,紧接着调用了org.apache.flink.client.cli.CliFrontend.main执行flink任务,同时将shell参数原样传递给Flink程序;

  3. 下面让我们一起看看org.apache.flink.client.cli.CliFrontend:

    ......
    // 1. find the configuration directory,发现配置目录
    final String configurationDirecto
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ByteLab

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值