-- Flink
Flink深入理解
海若[MATRIX]
大数据全栈
展开
-
flink1.13报错:The file STDOUT does not exist on the TaskExecutor
该报错主要是找不到STDOUT文件,原因是程序中没有sout输出,当你去web-ui点击stdout目录,就会报一个这儿样的接口请求错误,并不影响程序运行,可忽略。2.如果没有sout输出,不要点击stdout目录。1.修复flink runtime源码。3.随便加一点sout输出在程序里。......原创 2022-08-30 11:41:48 · 5107 阅读 · 0 评论 -
flink报错:Exception: Cannot parse input: expected \t before: \\N\t
腾讯云Oceanus1.13(对应flink1.13)centos7.5jdk8。原创 2022-08-23 17:18:01 · 2288 阅读 · 0 评论 -
Flink报错:Error: A JNI error has occurred, please check your installation and try again
2.解决方案将对应依赖包作用域调整为compile报错内容中找不到的类所在的依赖即为需调整内容。修改完依赖配置,记得更新依赖。原创 2022-06-22 18:28:07 · 1086 阅读 · 0 评论 -
flink报错:No ExecutorFactory found to execute the application
1.问题描述报错内容2.解决方案增加依赖项3.注意事项依赖版本,要和你使用的flink版本对应。原创 2022-06-21 14:43:48 · 617 阅读 · 0 评论 -
Flink1.11.0-standalone session-本地集群模式-快速部署(适用>=1.11版本,低版本未测试)
flink1.11.0centos7.5集群(3节点)https://archive.apache.org/dist/flink/flink-1.11.0/、 修改完后,同步至三个节点。修改完后,同步至三个节点。修改完后,同步至三个节点。6.打开flink-webUI测试地址:http://linux1:8081......原创 2022-06-17 11:40:10 · 382 阅读 · 0 评论 -
Flink手动设置并发度parallelism源码解读
1.源码片段2.源码解读StreamExecutionEnvironment类的setParallelism()方法去调用Flink core模块的common api中的ExecutionConfig setParallelism(int parallelism)方法。原创 2021-08-17 05:23:12 · 365 阅读 · 0 评论 -
Flink默认并发度Parallelism源码解读
1.默认并发度=cpu核数(线程数)比如10核20线程的服务器,Flink的默认并发度=202.源码解读在创建Flink 执行环境的时候,会调用java本地方法获取cpu核数作为默认的并发度.原创 2021-08-15 18:16:10 · 1889 阅读 · 0 评论 -
Flink源码编译(win10)
Flink源码编译step1:环境准备maven3.2.5(官方推荐)jdk8node.js16.6.2git2.32.0Flink-srcstep2:Flink源码获取1.github拉取git clone https://github.com/apache/flink.git2.官网下载step3:maven安装重点:配置阿里云国内镜像<mirror> <id>aliyunmaven</id> <mirrorOf>*&.原创 2021-08-15 17:40:46 · 1034 阅读 · 3 评论 -
Flink实时读取kafka最新消息(scala)
一、运行环境:win10 flink1.10 kafka0.10 scala2.11 idea2021二、核心代码object KafkaSource { def main(args: Array[String]): Unit = { //创建执行环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment //配置kafka val prop..原创 2021-08-08 16:57:18 · 785 阅读 · 0 评论 -
PyFlink-1:环境配置
1.pyton版本为3.5 3.6 3.7皆可。python --version 可查看python版本2.使用pip指令自动部署本地环境python -m pip install apache-flink因为我已经安装过,所以会显示已满足,不用重新装!原创 2020-07-12 20:00:43 · 1424 阅读 · 0 评论 -
Flink本地模式报错:Exception in thread main java.lang.NoClassDefFoundError
1.报错:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/api/scala/typeutils/CaseClassTypeInfo at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:763) at java.security.Se..原创 2020-06-28 05:08:07 · 7690 阅读 · 7 评论 -
Flink Table API 导出表查询结果到Elasticsearch报错:the final mapping would have more than 1 type:
代码:package com.atguigu.tabletestimport com.atguigu.apitest.SensorReadingimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api.{DataTypes, Table}import org.apache.flink.table.api.scala._import org.apache.flink.table.descrip..原创 2020-06-01 03:56:48 · 534 阅读 · 0 评论 -
Flink Table API 输出到MySql报错:Required context properties mismatch.
代码:package com.atguigu.tabletestimport com.atguigu.apitest.SensorReadingimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api.scala._import org.apache.flink.table.api.{DataTypes, Table}/** * @Description TODO * @Aut...原创 2020-06-01 03:08:56 · 3147 阅读 · 1 评论