本地IDEA环境调试Flinkx 启动Launcher过程分析

最新推荐文章于 2023-05-03 01:56:33 发布
最新推荐文章于 2023-05-03 01:56:33 发布
阅读量753 收藏 4
点赞数
分类专栏： Flink 文章标签： flink flinkx IDEA环境调试启动流程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litlit023/article/details/109009438
版权
本文详细介绍了如何在IDEA环境下设置Flinkx的Launcher启动参数，通过调用com.dtstack.flinkx.Launcher类启动项目，解析args参数，执行DataTransferConfig构造方法来启动和配置Flinkx任务。
摘要由CSDN通过智能技术生成

本文主要包括：在IDEA环境中，通过设置Launcher类的启动参数，直接在idea中拉起Launcher类，从而启动整个flinkx项目

1. 在IDEA中设置Launcher启动类的Program arguments参数

在Program arguments参数项中设置参数值为：

-mode local -job D:\IdeaProjects\flink\flinkx\flinkx-examples\examples\stream_example.json -pluginRoot D:\IdeaProjects\flink\flinkx\plugins -flinkconf D:\IdeaProjects\flink\flinkx\flinkconf

-job 参数的值是 json文件的路径

-job 参数的值是 json文件的路径

1. flinkx脚本中的最后一行调用启动类，并传参

nohup $JAVA_RUN -cp $JAR_DIR $CLASS_NAME $@ &

上述命令会调用com.dtstack.flinkx.Launcher类中的main方法。在Launcher类的main函数中，根据传入的 mode参

了解本专栏 订阅专栏 解锁全文 超级会员免费看
fragrans
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Flinkx local模式启动过程
litlit023的专栏
10-08 655
1. flinkx脚本中的最后一行调用启动类，并传参 nohup $JAVA_RUN -cp $JAR_DIR $CLASS_NAME $@ & 上述命令会调用com.dtstack.flinkx.Main类中的main方法，启动程序 2. main方法中解析传递的args参数 2.1 解析jobPath指定的任务配置文件 解析参数 -job 执行的任务json文件中的内容，返回DataTransferConfig 对象 // 解析jobPath指定的任务配置文件 Da..
FLINK源码阅读-FLINK LOCAL 模式启动过程
wuxuyang_7788的博客
10-10 474
从StreamExecutionEnvironment跟进去可以看到，实现类里面有个LocalStreamEnvironment,这个就是local模式启动的入口从 StreamExecutionEnvironment.execute() 进去 public JobExecutionResult execute() throws Exception { return execute(DEFAU...
flinkx本地IDE调试记录
xiaolegeaizy的博客
12-14 538
本文使用idea作为示例： 执行 Launcher.main方法之前需要配置执行参数，如下图所示： 选中Edit进去 在Program arguments参数项中设置参数值为： -mode local -job D:\wdja-test\flinkx\jobs\pg-es.json -pluginRoot D:\wdja-test\flinkx\plugins -flinkconf D:\flink\flink-1.11.1\conf 以上启动命令不清楚的可以参考作者上篇文章...
Flink（3）：Flink安装部署之Local本地模式
yang_shibiao的博客
06-30 2515
0. 相关文章链接 1. Local本地模式 1.1. 原理 Flink程序由JobClient进行提交 JobClient将作业提交给JobManager JobManager负责协调资源分配和作业执行。资源分配完成后，任务将提交给相应的TaskManager TaskManager启动一个线程以开始执行。TaskManager会向JobManager报告状态更改,如开始执行，正在进行或已完成。 作业执行完成后，结果将发送回客户端(JobClient) 1.2. 操作 1）下载安装
flinkx local模式踩坑记录
xiaolegeaizy的博客
12-11 936
1、下载源码，首次下载idea编译会报错， 编译找不到DB2、达梦、gbase、ojdbc8等驱动包 解决办法：在$FLINKX_HOME/jars目录下有这些驱动包，可以手动安装，也可以使用插件提供的脚本安装： ```bash ## windows平台 ./install_jars.bat ## unix平台 ./install_jars.sh ``` 编译打包：mvn clean package -Dmaven.test.skip=true 2、把编译后的三个文件加bin/li
本地IDEA环境，启动Flinkx，并给启动类CommandLine传递参数
litlit023的专栏
10-08 862
1、上传flinkx文件夹到服务器 将flinkx文件夹复制到服务器的/work/flink/flinkx/目录下，即 $FLINKX_HOME=/work/flink/flinkx/flinkx 2、执行启动命令 cd $FLINKX_HOME ./bin/flinkx -mode local -job $FLINKX_HOME/flinkx-examples/examples/stream_example.json -pluginRoot $FLINKX_HOME/plugins -flin
Launcher3:可以在Android Studio中编译、调试的Launcher3工程
05-14
​ 本工程旨在创建一个可以在Android Studio中编译、调试的Launcher3工程。如果有其他Android App有同样的需求，可做参考。 由于Launcher3使用了一些私有的API,比如`android.app.WallpaperColors`,这些导致Android ...
spark本地调试（idea）
qq_24095055的博客
10-23 3158
spark批处理程序通常是跑在类似yarn等集群环境中的，可是在进行开发的时候，不可避免的需要进行本地开发调试，记录下idea下调试本地spark程序方法。 demo代码： /** * @description: 读取本地json文件，字符串解析出id并输出 */ object CountPictureByDayTest { def main(args: Array[String]): Unit = { @transient val spark = SparkS
Flinkx测试经验分享
wushuoyouting的博客
06-05 357
1. 什么是FlinkX FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线数据同步框架，实现了多种异构数据源之间高效的数据迁移。 不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任意数据源类型的数据同步工作。作为一套生态系统，每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。 2. 测试使用 由于对Flinkx的好奇，空出时间学习和使用Flinkx 在最近的半个月内的测试过程中，已经测同oracle，my
Flinkx 启动类 Launcher 运行流程解析
litlit023的专栏
09-30 847
1. 执行提交命令 当我们执行命令运行任务时，例如执行了以下命令： flinkx命令模板： bin/flinkx -mode local \ -job $FLINK_HOME/examples/stream_example.json \ -pluginRoot $FLINK_HOME/plugins \ -confProp "{\"flink.checkpoint.interval\":60000}" 当我们执
flink学习笔记-flink的local模式安装部署
陈同学
03-19 2643
1、Flink的local模式部署安装 在local模式下，不需要启动任何的进程，仅仅是使用本地线程来模拟flink的进程，适用于测试开发调试等，这种模式下，不用更改任何配置，只需要保证jdk8安装正常即可 第一步：上传安装包并解压 将编译之后的压缩包，上传到node01服务器的/kkb/soft路径下，然后进行解压 tar -zxf flink-1.8.1.tar.gz -C /opt/ins...
运行launch文件
weixin_45934728的博客
10-17 846
运行launch文件 1，在xxx_ws路径下 catkin_make 编译文件 2，source ~/catkin_ws/devel/setup.bash #刷新环境 3，cd到launch文件夹 4，roslaunch xxx.launch
ubuntu12.04创建idea的launcher
weixin_33860553的博客
10-20 99
为什么80%的码农都做不了架构师？>>> ...
.sh的简单用法（启动多个launch文件）
lishangheng
05-03 1660
首先在某个文件夹下建立一个.sh文件，比如说xxx.sh 然后给其赋予可执行权限 sudo chmod +x xxx.sh 如图： 然后直接上代码： #!/bin/bash source ~/catkin_ws/devel/setup.bash { gnome-terminal -x bash -c "roscore;exec bash" }& sleep 1s { gnome-terminal -x bash -c "rosrun helloworld time_test
【IDEA工具报错】Error launching IDEA开发工具启动报错
最新发布
东方神剑
05-03 5262
【IDEA工具报错】Error launching IDEA开发工具启动报错
IDEA Java性能分析插件VisualVM Launcher 配置（JAVA VisualVM 与Jconsole配置相同）
lin451791119的博客
06-11 906
可视化监控内存的使用状况很重要，尤其是解决JavaHeapOverFlow等问题。 在settinhs的Plugins中找到VisualVm并安装。 选择使用VisualVm去运行程序。
Flinkx启动流程-整体理解
wushuoyouting的博客
06-05 303
1. 先看启动脚本 在bin/flinkx的内容 set -e export FLINKX_HOME="$(cd "`dirname "$0"`"/..; pwd)" # Find the java binary if [ -n "${JAVA_HOME}" ]; then JAVA_RUN="${JAVA_HOME}/bin/java" else if [ `command -v java` ]; then JAVA_RUN="java" else echo "JAVA_HOM
Flinkx的启动以及运转流程，从哪个类到哪个类（小白版）
吃素的哈士奇de博客
06-29 608
Flinkx的启动以及运转流程启动类package com.dtstack.flinkx.launcher;Main类里面的main方法各种用到的类LauncherMainMyLocalStreamEnvironment 启动类package com.dtstack.flinkx.launcher; local模式启动要经过main方法 com.dtstack.flinkx.Main.main(localArgs); Main类里面的main方法 找到运行的方法 JobExecutionResult
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值