Jhon_yh的博客

目录env.execute("test Flink")getStreamGraph()StreamGraphGenerator.generate()transformationsexecute(StreamGraph streamGraph)executeAsync(jobGraph)getExecutor()execute(streamGraph, configuration, userClassloader)deployJobCluster()return deployInternal(deployIn

目录State类型Keyed StateValueStateListStateReducingStateAggregatingStateState类型Keyed State字面意思，这是一个作用在keyedStream上的state。所以，首先要对Stream进行 keyBy()通过下图， 我们可以知道，keydState 包含以下五种。1. ValueState<T>2. ListState<T>3. ReducingState<T>4. Aggrega

目录概览Total process MemoryDetail & Config概览Since 1.10 TM 做了重大更新。Since 1.11 JM 内存模型做了重大更新。本文主要讲解 TM 内存模型。官网链接 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/memory/mem_setup_tm/Total process Memory先理解一下官网的这张图total proce

目录背景Yarn 上面查看日志背景FLink on yarn Cluster 模式运行一段时间后，程序突然报错，查找Exceotion 发现 ”Container released on a *lost* node”具体报错如下。2021-12-24 09:43:43,931 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Filter -> Process -> (Sink: status,

对于这个异常，要具体问题具体分析，我这个异常是因为在使用侧输出流的时候， outputTag<String>, 向kafka发送数据的时候序列化用的是JSONOBJECT， String cant be cast ....jsonobject 导致的。18:37:53,728 WARN org.apache.flink.streaming.api.operators.AbstractStreamOperator - Error while emitting latency marker.

文章目录codetablestream 模式下分区提交方式code tEnv.getConfig.setSqlDialect(SqlDialect.HIVE) tEnv.getConfig.getConfiguration.set[java.lang.Boolean](HiveOptions.TABLE_EXEC_HIVE_INFER_SOURCE_PARALLELISM, false) tEnv.getConfig.getConfiguration.set[Integer](Hi

文章目录pomcodepom <artifactId>flink-sql_1.14</artifactId> <version>1.0</version> <name>flink-sql_1.14</name> <!-- FIXME change it to the project's website --> <url>http://www.example.com</url>

怀疑是版本冲突， 在pom里面查找math3, 把hadoop-common里面的 exclude了 再测试Caused by: org.apache.flink.client.deployment.application.ApplicationExecutionException: Could not execute application. ... 13 moreCaused by: org.apache.flink.client.program.ProgramInvocationExcepti

Caused by: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'hive' that implements 'org.apache.flink.table.planner.delegation.ParserFactory' in the classpath.// 添加依赖 <!-- Hive Dependency --> <dep

Log Type: jobmanager.outLog Upload Time: Tue Dec 14 17:49:13 +0800 2021Log Length: 760617:49:11.784 [flink-akka.actor.default-dispatcher-17] ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error occurred in the cluster entrypoint.

hive-exec 的 scope 去掉 Log Type: jobmanager.outLog Upload Time: Tue Dec 14 17:18:31 +0800 2021Log Length: 613817:18:30.403 [flink-akka.actor.default-dispatcher-16] ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error occurred in

参考链接flink DS 模式官方文档pom文件参考 flink cdc2.x mysql ds 模式codeimport com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import com.ververica.cdc.connectors.mysql.source.MySqlSource;import com.ververica.cdc.debezium.StringDebeziumDeserializ.

Flink CEP参考地址基本概念pom 依赖code数据源LoginEvent 实体类业务逻辑代码运行效果图参考地址flink cep 官网链接基本概念FlinkCEP是在Flink上层实现的复杂事件处理库。 它可以让你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分。本页讲述了Flink CEP中可用的API，我们首先讲述模式API，它可以让你指定想在数据流中检测的模式，然后讲述如何检测匹配的事件序列并进行处理。 再然后我们讲述Flink在按照事件时间处理迟到事件时的假设，

Flink cdc mysql维表关联需求背景模拟场景需求背景无论是实时还是离线场景，都离不开维表的关联。痛点： 维表更新 ·离线处理还好，更新之后重新处理一下我们的业务逻辑即可。 ·但是流式/实时场景中，码表的更新，意味着有关联不上的数据，cdc诞生之前，我们可能会将未匹配到的数据写到‘未识别’的分区中，再跑一次离线任务关联未匹配到的数据，但是这种处理对于实时是很不友好的。模拟场景现有流式数据 student(id, name, age, clazz_id, clazz_name(需要

The application contains no execute() calls.没有调用 execute() 方法。2021-12-03 09:20:31 [flink-akka.actor.default-dispatcher-4] WARN ApplicationDispatcherBootstrap:169 - Application failed unexpectedly: java.util.concurrent.CompletionException: org.apache.fl

参考文章Flink-sql kafka 实时写入Hive版本Hbase 2.1.0-cdh6.1.1pom文件文件中有一些没有用的依赖，可以自己剔除。 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source>

Cannot discover a connector using option: 'connector'='hbase-2.2'Could not find any factory for identifier 'hbase-2.2' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath.将 flink-connector-hbase-2.2_2.11-${flink.versio

Flink sql hive 问题11Caused by: org.apache.flink.sql.parser.impl.ParseException: Encountered "table" at line 1, column 18.table 为flink 关键字，在建表的时候 `table`

Flink-sql kafka 实时写入Hive 环境pomflink lib 文件Demo环境flink 1.13.1java 1.8scala 2.11hive 2.1.1-cdh6.1.1hadoop 3.0.0-cdh6.1.1pom <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compile