![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
为一个人走几座城
这个作者很懒,什么都没留下…
展开
-
flink SQL 体验遇到问题
一、报错:[ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'kafka' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath.Available fac原创 2021-10-27 14:32:40 · 5688 阅读 · 1 评论 -
Flink之异步请求AsyncDataStream生产问题记录
最近生产在搞实时统计需求,在开发环境进行开发的初期,想通过Flink的AsyncDataStream.orderedWait()异步请求的方式,将统计结果最终落地到数据库中。过程中需要查询一些MongoDB中维表的数据,本地测试数据量可能不是很大,所以没有问题。但是当到生产上运行后,就出现了下述问题:java.util.concurrent.RejectedExecutionException: java.lang.IllegalStateException: Mailbox is in state原创 2021-04-29 10:57:42 · 1589 阅读 · 6 评论 -
Flink两种方式动态写入Kafka多个topic
<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.12</artifactId> <version>1.10.2</version></dependency><dependency> <groupId>org.apache.原创 2021-04-16 19:01:33 · 2599 阅读 · 1 评论 -
自定义Flink消费和生产Kafka消息(消费时Schema、生产时Key&Value&分区)
当我们在消费Kafka数据时,比较常用的是SimpleStringSchema,我个人比较喜欢用的是JSONKeyValueDeserializationSchema。上述两个API可以完成绝大多数的开发场景,但是但遇到个别的特殊场景时,我们需要自定义数据格式,此时我们就需要自定义xxSchema了,这里我们需要实现KafkaDeserializationSchema,从而来完成重定义消费时Kafka的数据格式。以下是基本的模板,需要什么样的数据格式,只需要做简单的修改即可。package com原创 2021-04-13 10:52:42 · 1520 阅读 · 0 评论 -
Flink 查看作业执行计划
当我们在开发Flink任务的时候,一般情况下Source-Transform-Sink流程就能满足基本的需求了。但是当应用变得非常复杂的时候,可能在一个Job里算子的个数会达到很多,几十、几百。这个时候整个程序就会变得非常复杂,所以如果能随时本地开发时能及时知道Job的执行计划就非常方便了。为了满足我们类似的需求,可以两种方式去实现。一、<dependency> <groupId>org.apache.flink</groupId> <原创 2021-04-01 15:06:50 · 1167 阅读 · 0 评论 -
Flink执行报错<很晦涩>
org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.pushToOperator(OperatorChain.java:658) at org.apache.原创 2021-04-01 09:17:36 · 2210 阅读 · 2 评论 -
Flink算子之RichParallelSourceFunction、RichSourceFunction因数据源不同,存在的差异
两套代码流程,完全一样。但是在读取到同样的数据后,数据返回给addSource算子后,通过transform算子后,继承RichSourceFunction的消息会出现丢失。但是是区分数据源的,MySQL就没有类似的情况,但是Elasticsearch就会出现。public class ElasticSource extends RichParallelSourceFunction<String>/RichSourceFunction { @Override pub.原创 2021-03-12 17:41:58 · 2720 阅读 · 1 评论