Flink问题记录

上手

pom依赖循环递归

pom依赖中:

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-streaming-java</artifactId>
      <version>${flink.version}</version>
    </dependency>
  • 飘黄:Transitive Uncontrolled Recursion vulnerability with High severity found
  • 在Setting->Editor->Inspections->Security->Vulnerable declared dependency 关闭勾选
    在这里插入图片描述

(“Transitive Uncontrolled Recursion” vulnerability with high severity 是一种安全漏洞,通常发生在应用程序中递归调用不受控制的情况下。这类漏洞可能导致栈溢出或拒绝服务(DoS)攻击,因为递归调用会占用大量内存和处理器资源。
要彻底解决此问题,可以尝试替换安全的依赖版本,我与教程保持一致没有替换,防止后续bug。)

WordCountStreamDemo中readTextFile是deprecated(强烈反对的)

在这里插入图片描述

  • 我使用的JDK17报错无法运行:Unable to make field private final byte[] java.lang.String.value accessible: module java.base does not “opens java.lang” to unnamed module @4b4523f8
  • 这个错误提示表明在尝试使用反射访问 java.lang.String 类的 value 字段时遇到了问题。这是由于Java的模块系统(Java 9及以上版本引入的模块系统)引起的。
  • 退回了JDK8可以运行成功。
    (从 Java 17 开始,模块系统对反射的限制更加严格。如果你正在使用较新的 Java 版本,考虑更新代码或库,以便兼容新的模块系统。)
  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink CDC(Change Data Capture)是一种用于捕获数据变化的机制,可以将数据变化以事件流的形式传输给Flink流处理程序。而checkpoint是Flink用来保证数据一致性和容错性的机制,它可以保存流处理程序在某个时刻的状态,以便在发生故障时进行恢复。 在使用Flink CDC时,可能会遇到checkpoint恢复问题。这些问题通常包括如何有效地设置CDC和checkpoint的配置参数,以及如何正确地处理状态恢复过程中的数据变化。例如,在进行checkpoint恢复时,可能会遇到数据重放、状态丢失或者状态不一致等问题。 为了解决这些问题,可以考虑以下几个方面: 1. 合理设置CDC和checkpoint的参数。需要根据具体的业务需求和数据特点来设置CDC和checkpoint的参数,例如并行度、checkpoint间隔、超时时间等。 2. 确保数据源的幂等性。通过保证数据源的幂等性,可以避免在数据重放时导致数据错误的问题。 3. 使用恰当的状态后端。Flink提供了不同的状态后端,如RocksDB和MemoryStateBackend,不同的状态后端对于checkpoint的恢复速度和性能有着不同的影响。 除此之外,还可以通过详细的日志记录和监控来及时发现问题和进行调优。此外,也可以参考Flink的官方文档和社区讨论,获取更多关于CDC和checkpoint的最佳实践和经验分享。通过这些方法,可以更好地解决Flink CDC checkpoint恢复问题,提高流处理程序的稳定性和性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值