![](https://img-blog.csdnimg.cn/20190927151132530.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
flink
文章平均质量分 58
test
Jhon_yh
这个作者很懒,什么都没留下…
展开
-
Flink 1.14 源码阅读
目录env.execute("test Flink")getStreamGraph()StreamGraphGenerator.generate()transformationsexecute(StreamGraph streamGraph)executeAsync(jobGraph)getExecutor()execute(streamGraph, configuration, userClassloader)deployJobCluster()return deployInternal(deployIn原创 2022-04-28 15:49:23 · 2224 阅读 · 2 评论 -
Flink State
目录State类型Keyed StateValueStateListStateReducingStateAggregatingStateState类型Keyed State字面意思,这是一个作用在keyedStream上的state。所以,首先要对Stream进行 keyBy()通过下图, 我们可以知道,keydState 包含以下五种。1. ValueState<T>2. ListState<T>3. ReducingState<T>4. Aggrega原创 2022-01-13 16:40:58 · 718 阅读 · 0 评论 -
Flink 1.13 内存模型及配置方法
目录概览Total process MemoryDetail & Config概览Since 1.10 TM 做了重大更新。Since 1.11 JM 内存模型做了重大更新。本文主要讲解 TM 内存模型。官网链接 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/memory/mem_setup_tm/Total process Memory先理解一下官网的这张图total proce原创 2021-12-30 14:45:37 · 1461 阅读 · 0 评论 -
Flink on yarn Container released on a *lost* node
目录背景Yarn 上面查看日志背景FLink on yarn Cluster 模式运行一段时间后,程序突然报错,查找Exceotion 发现 ”Container released on a *lost* node”具体报错如下。2021-12-24 09:43:43,931 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Filter -> Process -> (Sink: status,原创 2021-12-24 09:58:47 · 1965 阅读 · 0 评论 -
java.lang.RuntimeException: Buffer pool is destroyed.
对于这个异常,要具体问题具体分析,我这个异常是因为在使用侧输出流的时候, outputTag<String>, 向kafka发送数据的时候序列化用的是JSONOBJECT, String cant be cast ....jsonobject 导致的。18:37:53,728 WARN org.apache.flink.streaming.api.operators.AbstractStreamOperator - Error while emitting latency marker.原创 2021-12-17 16:28:31 · 3016 阅读 · 0 评论 -
Flink sql 1.14 并行度设置
文章目录codetablestream 模式下分区提交方式code tEnv.getConfig.setSqlDialect(SqlDialect.HIVE) tEnv.getConfig.getConfiguration.set[java.lang.Boolean](HiveOptions.TABLE_EXEC_HIVE_INFER_SOURCE_PARALLELISM, false) tEnv.getConfig.getConfiguration.set[Integer](Hi原创 2021-12-15 14:47:55 · 4185 阅读 · 0 评论 -
flink sql 1.14纯净版
文章目录pomcodepom <artifactId>flink-sql_1.14</artifactId> <version>1.0</version> <name>flink-sql_1.14</name> <!-- FIXME change it to the project's website --> <url>http://www.example.com</url>原创 2021-12-15 09:47:46 · 1404 阅读 · 0 评论 -
Caused by: java.lang.NoSuchMethodError: org.apache.commons.math3.stat.descriptive.rank.Percentile.wi
怀疑是版本冲突, 在pom里面查找math3, 把hadoop-common里面的 exclude了 再测试Caused by: org.apache.flink.client.deployment.application.ApplicationExecutionException: Could not execute application. ... 13 moreCaused by: org.apache.flink.client.program.ProgramInvocationExcepti原创 2021-12-15 09:40:46 · 2311 阅读 · 0 评论 -
Caused by: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier
Caused by: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'hive' that implements 'org.apache.flink.table.planner.delegation.ParserFactory' in the classpath.// 添加依赖 <!-- Hive Dependency --> <dep原创 2021-12-14 17:53:39 · 4514 阅读 · 5 评论 -
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf
Log Type: jobmanager.outLog Upload Time: Tue Dec 14 17:49:13 +0800 2021Log Length: 760617:49:11.784 [flink-akka.actor.default-dispatcher-17] ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error occurred in the cluster entrypoint.原创 2021-12-14 17:51:45 · 3119 阅读 · 3 评论 -
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.metastore.api.NoSuchObjectExcept
hive-exec 的 scope 去掉 Log Type: jobmanager.outLog Upload Time: Tue Dec 14 17:18:31 +0800 2021Log Length: 613817:18:30.403 [flink-akka.actor.default-dispatcher-16] ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error occurred in原创 2021-12-14 17:50:45 · 2116 阅读 · 0 评论 -
Flink sql CDC 2.x 应用code
参考链接flink DS 模式官方文档pom文件参考 flink cdc2.x mysql ds 模式codeimport com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import com.ververica.cdc.connectors.mysql.source.MySqlSource;import com.ververica.cdc.debezium.StringDebeziumDeserializ.原创 2021-12-08 09:03:58 · 285 阅读 · 0 评论 -
Flink CEP 及 代码演示 -- Flink的复杂事件处理
Flink CEP参考地址基本概念pom 依赖code数据源LoginEvent 实体类业务逻辑代码运行效果图参考地址flink cep 官网链接基本概念FlinkCEP是在Flink上层实现的复杂事件处理库。 它可以让你在无限事件流中检测出特定的事件模型,有机会掌握数据中重要的那部分。本页讲述了Flink CEP中可用的API,我们首先讲述模式API,它可以让你指定想在数据流中检测的模式,然后讲述如何检测匹配的事件序列并进行处理。 再然后我们讲述Flink在按照事件时间处理迟到事件时的假设,原创 2021-12-07 13:37:10 · 1678 阅读 · 0 评论 -
Flink cdc2.x mysql维表关联 (Flink 1.13 DataStream)
Flink cdc mysql维表关联需求背景模拟场景需求背景无论是实时还是离线场景,都离不开维表的关联。痛点: 维表更新 ·离线处理还好,更新之后重新处理一下我们的业务逻辑即可。 ·但是流式/实时场景中,码表的更新,意味着有关联不上的数据,cdc诞生之前,我们可能会将未匹配到的数据写到‘未识别’的分区中,再跑一次离线任务关联未匹配到的数据,但是这种处理对于实时是很不友好的。模拟场景现有流式数据 student(id, name, age, clazz_id, clazz_name(需要原创 2021-12-06 16:53:04 · 4813 阅读 · 5 评论 -
The application contains no execute() calls.
The application contains no execute() calls.没有调用 execute() 方法。2021-12-03 09:20:31 [flink-akka.actor.default-dispatcher-4] WARN ApplicationDispatcherBootstrap:169 - Application failed unexpectedly: java.util.concurrent.CompletionException: org.apache.fl原创 2021-12-03 14:07:15 · 2092 阅读 · 0 评论 -
Flink sql 1.13 读kafka 实时写Hbase
参考文章Flink-sql kafka 实时写入Hive版本Hbase 2.1.0-cdh6.1.1pom文件文件中有一些没有用的依赖,可以自己剔除。 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source>原创 2021-12-03 10:57:49 · 1112 阅读 · 0 评论 -
Cannot discover a connector using option: ‘connector‘=‘hbase-2.2‘
Cannot discover a connector using option: 'connector'='hbase-2.2'Could not find any factory for identifier 'hbase-2.2' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath.将 flink-connector-hbase-2.2_2.11-${flink.versio原创 2021-12-03 10:41:56 · 3235 阅读 · 1 评论 -
Caused by: org.apache.flink.sql.parser.impl.ParseException: Encountered “table“ at line 1, column 18
Flink sql hive 问题11Caused by: org.apache.flink.sql.parser.impl.ParseException: Encountered "table" at line 1, column 18.table 为flink 关键字,在建表的时候 `table`原创 2021-11-29 13:40:56 · 3584 阅读 · 0 评论 -
Flink-sql kafka 实时写入Hive
Flink-sql kafka 实时写入Hive 环境pomflink lib 文件Demo环境flink 1.13.1java 1.8scala 2.11hive 2.1.1-cdh6.1.1hadoop 3.0.0-cdh6.1.1pom <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compile原创 2021-11-29 13:26:33 · 953 阅读 · 0 评论 -
Flink 写入 OSS问题记录
目录问题描述 Caused by: java.io.IOException: No space left on deviceFlink读写流程解决办法问题描述 Caused by: java.io.IOException: No space left on deviceCaused by: java.io.IOException: No space left on device at java.io.FileOutputStream.writeBytes(Native Method)原创 2021-09-09 13:51:43 · 1250 阅读 · 1 评论 -
Flink 1.13.0 集成hive 问题整理
文章目录Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConfCaused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConfFlink 1.13.0 集成 Hive 的时候,执行报错 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.map原创 2021-07-24 17:07:39 · 1678 阅读 · 0 评论 -
Flink on yarn 问题梳理
文章目录1. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster.1. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster.解决办法: 在 flink 配置文件里 flink-co原创 2021-06-30 11:07:45 · 2773 阅读 · 5 评论 -
flink 问题记录
文章目录1. Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;JZ)V原因1. Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.Nat原创 2021-06-09 13:41:55 · 1785 阅读 · 0 评论 -
Flink Hive 探索
Flink Hive参考文档描述过程总结话不多说,干货`pom文件,不一定是最准确的,但是是能用的。欢迎各位大佬指正。``scala code``Scala stream code`参考文档https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/connectors/table/hive/overview/#dependencies描述过程总结整个探索的过程,可以总结为‘痛并快乐着’。痛1. 官方文档中,直接给了几原创 2021-06-09 13:36:53 · 364 阅读 · 0 评论 -
Flink 添加自定义数据源实操
文章目录依赖代码部分初学者可能会遇见的问题依赖不再赘述代码部分//样例类//用户行为case class MarketingUserBehavior(userId: String, channel: String, behavior: String, timeStamp: Long)//object MarketAnalysis { def main(args: Array...原创 2019-11-28 11:41:30 · 1427 阅读 · 0 评论 -
Apache Flink 入门
文章目录官网链接下载安装部署单机版DEMO常见问题汇总1. 分配资源不够2.官网链接https://flink.apache.org/下载安装部署单机版进入主页点击downloads,选择你想要的版本2.选择整合或者不整合hadoop的版本3. 下载上传下载的压缩包到虚拟机,并解压在解压目录下面bin/ 执行命令 ./start-cluster.sh 即可, ...原创 2019-11-13 15:17:40 · 501 阅读 · 0 评论