flink
文章平均质量分 51
flink 应用与报错解决
cg6
这个作者很懒,什么都没留下…
展开
-
flink sql 13.2 读取与写入数据库的报错(踩坑)
flink sql读取与写入数据库的报错原创 2023-09-10 16:47:45 · 825 阅读 · 0 评论 -
flink Mysql CDC(动态加表)、postgresqlCDC 和 CDC无锁算法
flink Mysql CDC(动态加表)、postgresqlCDC 和 CDC无锁算法原创 2023-07-21 17:34:50 · 1952 阅读 · 1 评论 -
flink 实时数仓构建与开发[记录一些坑]
flink 实时数仓构建与开发原创 2023-06-19 15:28:44 · 1529 阅读 · 0 评论 -
flink cdc - 写入多 topic和动态新增cdc表
flink cdc - 写入多 topic和动态新增cdc表原创 2022-09-22 11:25:42 · 1801 阅读 · 2 评论 -
flink 实时计算与RockDB状态存取的猜想
flink 实时计算与RockDB状态存取的猜想原创 2022-08-31 16:05:36 · 704 阅读 · 2 评论 -
记 - 实时数仓开发实践 - doris/pg/flink
实时数仓开发 - doris/pg/flink原创 2022-07-28 15:02:35 · 1385 阅读 · 0 评论 -
记 - Flink SQL Upsert Kafka Sink 数据乱序排查与解决思路【业务数据任意修改】
Flink SQL Upsert Kafka Sink 数据乱序原创 2022-07-18 16:43:20 · 2535 阅读 · 0 评论 -
flink sql - 新增pg批量写入参数导致的pg表死锁分析
flink sql - 新增pg批量写入参数导致的pg表死锁分析原创 2022-06-24 10:30:01 · 1356 阅读 · 0 评论 -
flink sql 数据乱序或数据被覆盖
flink sql 数据乱序原因分析1、多表left join 乱序1.1、flink sql 如下:2、多表与主表关联数据乱序1、多表left join 乱序1.1、flink sql 如下:sink to pg 表的主键:idselect c1.id,c1.name1,c2.name2,c3.name3,c1.num from flink_multilist_left_join_check1 c1left join flink_multilist_left_join_check2 c2 on原创 2022-04-27 13:46:08 · 2927 阅读 · 0 评论 -
flink sql 特殊字符做分隔符做参数传参给自定义函数注意项
flink sql 传参给自定义函数注意项path = ‘123.323’;flink sql : pathLength(path,’.’) as depth注意项:在flink sql 中要使用 单引号单杠备注:其他语言:可能是双引号双杠转义UDF函数: public int eval(String path, String sep) { if(path == null || path.trim().length() == 0){ return 0原创 2022-03-01 16:06:01 · 2457 阅读 · 0 评论 -
flink sql java.lang.UnsupportedOperationException: class org.apache.calcite.sql.SqlIdentifier: json
java.lang.UnsupportedOperationException: class org.apache.calcite.sql.SqlIdentifier: json原因 表字段类型是 json , flink 不支持;改为 string 解决转载出处:https://www.saoniuhuo.com/question/detail-1911817.html?sort=hot转载 2022-02-24 14:50:37 · 1885 阅读 · 0 评论 -
flink - debezium 采集pg库表日期数据(字段类型:date/varchar)踩坑笔记
debezium 采集pg库表日期数据(字段类型:date/varchar)表结构1 :CREATE TABLE date_test ( whole_date varchar(255) NOT NULL, simple_date int4 NULL, cn_date varchar(255) NULL, year_month varchar(255) NULL, year_week varchar(255) NULL)表结构2 :CREATE TABLE date_test ( wh原创 2022-02-09 16:31:05 · 1879 阅读 · 0 评论 -
flink 13.3 版本,数据不回撤
flink 13.3 版本,数据不回撤13.3版本问题:不回撤upsert-kafka:回撤数据触发的是rollback,而不是deleteddebezium-json:回撤数据两个都不会触发验证流程:前提:debezium 采集pg sink到kafka;启动flink任务, upsert-kafka/debezium-json 读取kafka数据sink到pg表13.3 版本:验证1:修改源表数据触发 update , 再修改源表数据触发 delete 操作,发现数据回退到update前原创 2021-12-20 15:32:35 · 1171 阅读 · 0 评论 -
flink任务 Ask timed out on [Actor[akka.tcp://flink@hostname:端口/user/rpc/taskmanager_0#-1963283773]]
akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka.tcp://flink@hostname:端口/user/rpc/taskmanager_0#-1963283773]] after [10000 ms]. Message of type [org.apache.flink.runtime.rpc.messages.RemoteRpcInvocation]. A typical reason for AskTimeoutExcept转载 2021-12-20 10:16:43 · 1244 阅读 · 0 评论 -
used for taking a checkpoint/savepoint is used when restoring
different StateBackend from the one that was used for taking a checkpoint/savepoint is used when restoring.原创 2021-12-20 09:33:24 · 1541 阅读 · 0 评论 -
记flink sql cdc消费kafka数据,sink到pg表数据漏数原因排查
记flink sql cdc消费kafka数据,sink到pg表数据漏数排查[原因分析]flink sqlinsert into t3select cast(t1.a as varchar(100)) || cast(t1.b as varchar(100)) as id, -- 组合主键id t1.a ,t1.b ,t2.c ,sum(d)from t1join t2 on t2.id = t1.idgroup by t1.a,t1.b,t2.c现象与环境描述1、flink原创 2021-12-16 17:16:46 · 1851 阅读 · 2 评论 -
flink sql - group by 字段 [不等于] 主键字段导致upset-kafka 多并发 sink to pg表死锁原因分析
flink sql - group by 字段 [不等于] 主键字段导致upset-kafka 多并发 sink to pg表死锁原因分析原创 2021-12-08 18:53:29 · 1717 阅读 · 2 评论 -
flink任务状态一直是created状态
flink 任务处于 created 状态原创 2021-12-03 14:38:51 · 1597 阅读 · 0 评论 -
flink Could not allocate the required slot within slot request timeout
flink Slot request bulk is not fulfillable! Could not allocate the required slot within slot request timeout解决:减少并发度转载 2021-12-03 13:44:03 · 5564 阅读 · 8 评论 -
flink you can disable this check with the configuration ‘classloader.check-leaked-classloader‘
flink 1.13.3 Exception in thread “Thread-6” java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third par原创 2021-12-03 11:06:13 · 2822 阅读 · 0 评论 -
flink 消费kafka数据写入pg库表的数据无法回撤
flink 消费kafka数据写入pg库表的数据无法回撤架构描述:1、实时数仓分层:ods->dwd->dws->出BI报表2、ods层 使用debezium采集pg数据写到kafka,debezium 过滤物理删除操作[不监控pg库物理删除] ; 且部分 ods 表使用了union all 3、dwd层 flink 实时消费kafka数据[ods]写入dwd 【双写:1.计算后重新写回kafka ; 2.写到pg库】4、dws层 flink 实时消费 kafka 数据原创 2021-12-01 16:43:17 · 1147 阅读 · 0 评论 -
flink No implicits found for parameter evidence$2: TypeInformation
flink 开发报错处理集合1. No implicits found for parameter evidence$2: TypeInformation1. No implicits found for parameter evidence$2: TypeInformation原因:没有导入隐式转换解决:import org.apache.flink.api.scala._原创 2021-11-30 10:36:38 · 288 阅读 · 0 评论 -
flink SourceFunction could not be inferred. Support for synthetic interfaces, lambdas, and generic
flink dataStream -问题排查与解决1、java org.apache.kafka.common.errors.DisconnectException: null1、java org.apache.kafka.common.errors.DisconnectException: null现象:flink datastream 消费kafka 数据原因:解决:原创 2021-11-30 10:34:54 · 742 阅读 · 0 评论 -
flink 知识点梳理
flink 基础知识梳理原创 2021-11-30 10:33:32 · 383 阅读 · 1 评论 -
flink sql - 问题系列与解决系列
flink sql 调试-注意点1、布尔类型的坑2、cdc 表[kafka/pg等],要写对表主键,特别是flink sql 有group by 的情况1、布尔类型的坑数据库 deleted = 'false' , flink sql 要替换为 deleted is false 2、cdc 表[kafka/pg等],要写对表主键,特别是flink sql 有group by 的情况现象:a 表主键是三个字段的联合主键[PRIMARY KEY (id,parent_id,entity_farm_原创 2021-11-30 10:33:02 · 6577 阅读 · 0 评论 -
flink-checkpoint 功能验证与排错
flink-checkpoint 验证1、正在运行的任务,增加source表字段2、正在运行的任务,删除source表字段3、从checkpoint 点恢复,逻辑不能做任务修改1、正在运行的任务,增加source表字段不影响原始任务运行2、正在运行的任务,删除source表字段删除的字段会当作删除操作,目标表对应字段会被删除,不影响原始任务运行3、从checkpoint 点恢复,逻辑不能做任务修改如:1、增加查询字段,增加聚合字段无法从 checkpoint 恢复,因为会去久check原创 2021-10-15 16:11:45 · 398 阅读 · 0 评论