Flink
And超超
这个作者很懒,什么都没留下…
展开
-
Flink Recovery is suppressed by NoRestartBackoffTime Strategy
Recovery is suppressed by NoRestartBackoffTime Strategy 主键冲突1、错误场景首先我这个错误场景是使用flink连接mysql时报的错。2、错误原因导致这个报错的原因是因为,mysql表里面设置了主键,并且新插入的数据中在mysql中已经存在,所以才会导致主键冲突。3、解决方案方案一:第一种解决方案,就是在flink DDL中添加主键:primary key(id) NOT ENFORCED不过flink 会将已经存在结果表的数据给更新原创 2022-01-04 11:28:24 · 18594 阅读 · 3 评论 -
FlinkSQL client如何区分批处理模式和流模式?
关于FlinkSQL client如何区分批处理模式和流模式?官方文档上面并没有给出明确的标准答案。不过偶然发现flink sql client的默认Planner 为Blink Planner。官方文档地址:https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/table/sqlClient.html下面是Blink Planner的介绍不论输入数据源是流式的还是批式的,Table API 和 SQL 查询都会被转换成原创 2021-12-23 10:30:03 · 1974 阅读 · 2 评论 -
flink sql primary key
flink sql 添加主键DDL案例:-- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。create table source( id bigint, name STRING, PRIMARY KEY (id) NOT ENFORCED)with ();-- 创建sink表映射create table sink( id bigint, name STRING, PRIMARY KEY (id) NOT ENFORCED)with (原创 2021-12-22 13:38:09 · 5959 阅读 · 0 评论 -
Flink Sql client & API案例
下面的案例是纯 flink sql 案例-- 创建数据源表映射create table source ( id bigint, name STRING)with ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://localhost:3306/database', 'table-name' = 'table-name', // 这个是mysql中对应的表名 'username' = 'root', 'passwo原创 2021-12-21 15:03:02 · 864 阅读 · 0 评论 -
flink sql insert into导致数据覆盖
首先看一下我的案例:-- 创建数据源表映射create table source( id bigint, name STRING)with ();-- 创建目标表映射create table sink( id bigint, name STRING, PRIMARY KEY (id) NOT ENFORCED)with ();-- 将source表的数据插入到sink表insert into sinkselect * from source;问题:我执行完这个原创 2021-12-21 14:50:33 · 2209 阅读 · 0 评论 -
Flink WordCount Scala版
package batchwordcountimport org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.api.scala._object BatchWordCount { def main(args: Array[String]): Unit = { /** * 一、创建运行环境 */ // 创建批处理运行环境 val env = Execut原创 2021-06-30 19:00:08 · 179 阅读 · 0 评论 -
Flink wordCount Java版
import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.DataSet;import org.apache.flink.api.java.ExecutionEnvironment;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.util.Collector;public cla原创 2021-06-30 18:43:01 · 203 阅读 · 0 评论