Flink本地Debug调试的方法和注意点

初学flink可能会疑惑flink项目如何本地调试,毕竟和后端项目不同。本文介绍flink项目本地debug方法和注意点。

以IDEA Maven项目(java开发语言)为例,步骤如下:
一、设置执行环境为Local

StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(configuration);

公司封装后如下:
在这里插入图片描述
注意,调试完后需要修改回集群环境:

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

**二、设置参数
在这里插入图片描述
在这里插入图片描述
注意:
1、如果环境变量依各自公司情况进行修改,一般配置文件需要配置进来,如,我的Programme arguments为

–nacos.cover.config true --config_path C:\workspace\flink-app-data-warehouse\streaming-app-fd-first-project-online6\src\main\resources\application.properties
2、maven项目中有运行环境提供依赖,则需要设置 add dependencies with “provided” scope to calsspath,否则会报错NoClassDefFoundError,配置如下:
在这里插入图片描述
三、打断点

在合适的地方打断点,否则不会弹出debug界面!!!!
一般为:
1、算子的function函数中,比如processElement方法内;
在这里插入图片描述

2、main方法中算法的lambda表达式方法体中(实际上也是算子内)

在这里插入图片描述
在这里插入图片描述
四、造数据、Debug启动flink项目、向source发送数据,观察是否进入断点处
以kafka为例,直接往source topic发数据
在这里插入图片描述数据来了
在这里插入图片描述

结束语:分享让人快乐,欢迎交流!

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Flink 的 session 模式下进行调试可以通过以下步骤实现: 1. 配置调试环境:在 Flink 的配置文件中,可以设置 `debug.mode` 参数为 `true`,以启用调试模式。 2. 启动调试模式:启动 Flink 集群,并将作业提交到集群中。在提交作业时,可以使用 `--debug` 参数来启动调试模式。 3. 连接调试器:一旦作业进入调试模式,可以使用 IDE(如 IntelliJ IDEA)或远程调试工具(如 Java VisualVM)连接到运行中的 TaskManager 进程。 4. 设置断点:在连接到 TaskManager 后,可以在代码中设置断点,以便在特定的代码行进行暂停和调试。 5. 执行调试:触发作业的执行,当代码执行到设置的断点时,会暂停执行,并允许你检查变量、查看堆栈跟踪等。 6. 调试操作:在调试模式下,可以使用调试工具提供的功能进行单步执行、变量查看、堆栈跟踪分析等操作,以帮助分析和解决问题。 需要注意的是,调试模式可能会对性能产生一定的影响,因为它会暂停任务的执行,并且可能会增加网络通信的开销。因此,在正式生产环境中建议避免频繁使用调试模式。 另外,Flink 还提供了一些日志和监控工具,如 Flink Web UI 和 Flink 日志文件,可以帮助你在调试过程中获取作业的状态信息、错误日志等。这些工具可以与调试模式结合使用,以提供更全面的调试和故障排除能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值