![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink相关
记录flink使用过程中遇到的一些问题
wangan094
这个作者很懒,什么都没留下…
展开
-
Caused by: java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id timed out.
报错信息如下:解决办法:将flink-conf.yaml配置文件里,将如下参数调整:#Timeout for requesting and receiving heartbeat for both sender and receiver sides.heartbeat.timeout: 180000原创 2021-11-19 16:30:12 · 7128 阅读 · 2 评论 -
java: 找不到符号
java: 找不到符号符号: 类 TypeInformationTestBase位置: 程序包 org.apache.flink.api.common.typeutils程序报这种错误,不是代码造成的。解决办法:0、首先要统一编码格式:file --> settings -- > file encodings1、右键-->maven-->reload project2、build 或 rebuild3、flile --> inv..原创 2021-09-30 22:37:28 · 23565 阅读 · 5 评论 -
flink-s3-fs-hadoop: Could not resolve dependencies for project org.apache.flink:flink-s3-fs-hadoop
在pom.xml文件中添加:<repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos</url> </repository> </repositories>原创 2021-09-30 21:25:38 · 673 阅读 · 0 评论 -
flink中maven项目报错:java: 程序包org.apache.flink.api.java不存在
在idea中终端的根目录:输入命令:右键根目录,open in terminal,执行命令:mvn idea:idea原创 2021-09-30 21:09:05 · 2625 阅读 · 0 评论 -
flink报错:java: 程序包org.apache.flink.sql.parser.impl不存在
flink源码里没有org.apache.flink.sql.parser.impl这个类,这个类是编译生成的。解决办法:在报错的flink-sql-parser文件夹上,鼠标右键,进入终端文件夹:1、根据报错信息执行:mvn spotless:apply2、再执行:mvn compile经过这2步应该就可以自动生成代码解决问题了。3、也可用如下方法,右键-->maven-->generate sources,但有时候不成功,原因不明:...原创 2021-09-30 20:37:17 · 2401 阅读 · 0 评论 -
java:无效的目标发行版: 11
简便方法:在pom.xml文件中,修改如下配置即可:或者按如下方法(3步):1、file -->Project Structure ,将红色框中的改为目前的jdk版本:2、打开 Modules 模块,修改每个项目中的 language level。每个都要改。最后Apply3、打开settings-->java compiler,修改target bytecode version...原创 2021-09-30 17:45:46 · 880 阅读 · 0 评论 -
Plugin ‘com.github.hazendaz.spotbugs:spotbugs-maven-plugin:3.0.6‘ not found
将下载好的flink源码编译运行时,会报该错误。出现这种问题,一般都是maven配置的阿里、华为等镜像源中,缺这些依赖包。解决办法:在maven的settings.xml文件中,将镜像地址都注释掉,让maven去从官方库中下载依赖包即可。...原创 2021-09-30 17:27:49 · 892 阅读 · 0 评论 -
java: 无效的标记: --add-exports=java.base/sun.net.util=ALL-UNNAMED
解决办法:点击右侧maven-->Profiles,取消勾选java11。并且,file-->invalid cache重新打开原创 2021-09-30 17:21:48 · 3612 阅读 · 0 评论 -
flink源码在开发工具(idea)中编译运行
maven的镜像源是华为云时,flink源码编译报错:切换镜像源为阿里云,重新编译,问题解决:原创 2021-09-29 22:30:37 · 7584 阅读 · 1 评论 -
flink配置webui上传jar包保存路径
默认上传的jar包存放路径:Job Manager --> Configuration --> web.tmpdirweb.tmpdir配置的上传路径,重启后上传包就会被删除。解决办法:在flink-conf.yaml文件里,加上如下2个配置:原创 2021-09-29 15:50:06 · 3792 阅读 · 0 评论 -
flink sql指定作业名称:No operators defined in streaming topology. Cannot execute
在flinksql中不能通过env.execute(topNJob.class.getName())的方式指定作业名称(jobname),解决办法:// 设置sql运行脚本名称,在flink 1.13.2中生效,在flink1.12.0版本也可以用StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); tableEnv.getConfig().getConfiguration().setString("pipe原创 2021-09-15 20:28:42 · 3501 阅读 · 0 评论 -
Flink代码在IDEA执行时调出webui
在pom.xml文件中添加:<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_${scala.binary.version}</artifactId> <version>${flink.version}</version></dependency>在代码中添加:Co原创 2021-09-15 17:48:41 · 374 阅读 · 0 评论 -
flink sql读写mysql及报错: unable to open JDBC writer
flinksql读写mysql,pom.xml配置如下:<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_${scala.binary.version}</artifactId> <version>${flink.version}</version></dependency&原创 2021-09-13 21:35:33 · 3711 阅读 · 0 评论 -
Flink报错:Cannot resolve method addSource
该报错感觉莫名其妙,但其实就是,idea导入的依赖包,有多个选项,点错了。所需依赖如下:import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.streaming.connectors.kafka.FlinkKafk原创 2021-09-10 16:11:18 · 1665 阅读 · 0 评论 -
flink提交任务报错:java.lang.ClassCastException LinkedMap cannot be cast to LinkedMap exceptions
解决办法:在conf/flink-conf.yaml添加如下内容并重启flink:classloader.resolve-order: parent-first原创 2021-09-10 14:45:03 · 456 阅读 · 0 评论 -
Flink 1.12 Could not find any factory for identifier ‘kafka‘ that implements ‘org.apache.flink.table
java配置flinksql表连接kafka。例如:tableEnv.executeSql("CREATE TABLE invalidCtp (\n" + " sys_name STRING,\n" + " broker_id STRING,\n" + " investor_id STRING\n," + " row_rank BIGINT" +原创 2021-09-10 14:22:38 · 2388 阅读 · 0 评论 -
flink命令行提交jar任务(Caused by : java.lang.ClassNotFoundException: org.myorg.quickstart.StreamingJob)
首先进入bin目录:1、运行样例:./flink run ../examples/streaming/WordCount.jar2、指定入口类./flink run -c com.jobs.OrderSizeJob ../flowflink.jar注意:顺序不要反了:./flink run ../flowflink.jar -c com.jobs.OrderSizeJob 会报错:Caused by : java.lang.ClassNotFoundException: ..原创 2021-09-01 18:04:01 · 1043 阅读 · 0 评论 -
flink安装配置及flink-sql对接kafa做实时计算,org.apache.flink.table.api.NoMatchingTableFactoryException等报错
0、Apache的国内镜像地址: 地址1:http://mirror.bit.edu.cn/apache/ 地址2:https://mirrors.tuna.tsinghua.edu.cn/apache 地址2貌似速度快一些1、下载地址: wget http://mirror.bit.edu.cn/apache/flink/flink-1.10.0/flink-...原创 2020-03-14 17:01:44 · 589 阅读 · 0 评论