Flink
augie_ly
冰冻三尺非一日之寒
展开
-
java.lang.ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter解决
解决ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter问题。原创 2023-02-17 11:22:29 · 2018 阅读 · 0 评论 -
FlinkCDC作业处理慢追不上binlog产生的速度,导致binlog被清理的解决方案
Caused by: java.lang.IllegalStateException: The connector is trying to read binlog starting at Struct{version=1.6.4.Final,connector=mysql,name=mysql_binlog_source,ts_ms=1668149633760,db=,server_id=0,file=mysql-bin.003889,pos=116719908,row=0}, but this is n原创 2023-02-14 15:49:21 · 3568 阅读 · 0 评论 -
连接RDS MySQL时报错has more than ‘max_user_connections‘已解决
我出现这个问题是因为有一个Flink jar任务出现异常,一直在自动重启。由于之前测试程序把释放连接的代码注释掉了,导致了连接数已满,不能正常连接。通过数据库客户端无法连接RDS MySQL数据库,且提示“max_user_connections”相关错误信息。RDS MySQL数据库的连接数已满,导致不能正常连接。:把释放连接的代码放开重新打包发布到集群运行。检查代码中有没有释放连接。原创 2023-02-13 17:57:59 · 346 阅读 · 0 评论 -
Flink1.15.0——guava版本冲突解决
flink 1.15 和 1.13 使用的 flink-shaded-guava 版本不一样,两个版本不兼容,需要修改 cdc 中的 flink-shaded-guava 版本为 flink 1.15 依赖的版本。原创 2023-02-13 17:28:09 · 3995 阅读 · 0 评论 -
Cause: java.sql.SQLException: No operations allowed after statement closed.
Cause: java.sql.SQLException: No operations allowed after statement closed.原创 2023-02-08 16:29:12 · 1445 阅读 · 0 评论 -
Error:(45, 80) Static methods in interface require -target:jvm-1.8
在Flink1.11中使用WatermarkStrategy类中的方法时可能会报如下异常:Error:(45, 80) Static methods in interface require -target:jvm-1.8.assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness[LogEvent](Duration.ofSeconds(2))解决办法:在File -> Settings中按图设置即.原创 2020-11-05 18:33:24 · 330 阅读 · 2 评论 -
java.sql.SQLException: Unable to load authentication plugin ‘caching_sha2_password‘
今天在跑一个flink程序,往MySQL存数据的时候,报这个错。最后发现主要原因是8.x版本的验证模块和5.x版本不同:5.x版本是:default_authentication_plugin=mysql_native_password8.x版本是:default_authentication_plugin=caching_sha2_password更新mysql驱动的版本,这里我修改为了8.0.20版本。<!-- https://mvnrepository.com/artifact/原创 2020-10-31 16:58:01 · 341 阅读 · 0 评论 -
解决Flink中could not find implicit value for evidence parameter of type报错
报错信息如图:原因分析:在flink中的大部分算子中,并没有默认的隐式类型参数的定义,我们在使用时也没有显式地指定类型,因此会报类型异常。解决方案:import org.apache.flink.api.scala._代码如下:package com.jh.wcimport org.apache.flink.api.scala._import org.apache.flink.api.scala.{AggregateDataSet, DataSet, ExecutionEnvironme原创 2020-10-28 20:26:09 · 255 阅读 · 0 评论