cg6-CSDN博客

原创 flink 最后一个窗口一直没有新数据，窗口不关闭问题

窗口类型：滚动窗口@Override@Override@Override//乱序时间} else {// 10s内没有数据则关闭当前窗口state.f1){System.out.println("触发窗口,maxWatermark + 6000L:" + (maxWatermark + 6000L));} else {System.out.println("正常发送水印");代码部分逻辑说明。

2024-01-17 23:19:34 822

原创 flink sql 13.2 读取与写入数据库的报错（踩坑）

flink sql读取与写入数据库的报错

2023-09-10 16:47:45 843

原创 flink Mysql CDC（动态加表）、postgresqlCDC 和 CDC无锁算法

flink Mysql CDC（动态加表）、postgresqlCDC 和 CDC无锁算法

2023-07-21 17:34:50 2017 1

原创 Vue2 axios 配置请求后端多个地址

Vue2 axios 配置请求后端多个地址

2023-07-16 22:37:24 2415

原创数仓架构、模型设计与优化、开发规范

离线数仓架构、模型涉及、开发规范

2023-06-19 15:36:02 1482

原创 sql优化-json字符串数组解析优化-doris

sql优化-json字符串数组解析优化-doris

2023-03-20 17:26:37 1223 1

原创 ExitCodeException exitCode=-1073741701 修复

解决：下载腾讯电脑管家，修复dll。原因：缺少dll文件。

2023-03-16 15:53:04 809

原创 doris - 数仓拉链表按天全量打宽表性能优化

doris - 数仓拉链表按天全量打宽表性能优化

2023-02-17 10:00:18 1623

原创使用MyBatis Generator自动创建代码

使用MyBatis Generator自动创建代码

2022-12-12 17:16:12 502

原创 postgresSql - select group by 和子查询select 明细外层group by 的性能对比

select group by 和子查询select 明细外层group by 的性能对比

2022-10-18 11:20:07 460

原创 flink cdc - 写入多 topic和动态新增cdc表

flink cdc - 写入多 topic和动态新增cdc表

2022-09-22 11:25:42 1823 2

原创 postgresSql/pgsql 函数使用[json[数组]解析、每日累计，字符串拼接、去重、排序等]

postgresSql/pgsql 函数使用[json[数组]解析、每日累计，字符串拼接、去重、排序等]

2022-09-14 11:16:26 5612

原创 flink 实时计算与RockDB状态存取的猜想

flink 实时计算与RockDB状态存取的猜想

2022-08-31 16:05:36 707 2

原创通过 Gitlab 找回远程、本地都删除的分支代码

通过 Gitlab 找回远程、本地都删除的分支代码

2022-08-29 10:31:49 2423 1

原创记 doris - 开发问题与解决系列

doris - 开发问题与解决系列

2022-08-26 10:00:09 5938

原创记 - 实时数仓开发实践 - doris/pg/flink

实时数仓开发 - doris/pg/flink

2022-07-28 15:02:35 1401

原创记 - Flink SQL Upsert Kafka Sink 数据乱序排查与解决思路【业务数据任意修改】

Flink SQL Upsert Kafka Sink 数据乱序

2022-07-18 16:43:20 2631

原创 flink sql - 新增pg批量写入参数导致的pg表死锁分析

flink sql - 新增pg批量写入参数导致的pg表死锁分析

2022-06-24 10:30:01 1380

原创 hive - 字符串string和bigint类型的坑

hive 的string与bigint的比较

2022-06-10 13:45:20 3866 1

flink sql 数据乱序原因分析1、多表left join 乱序1.1、flink sql 如下：2、多表与主表关联数据乱序1、多表left join 乱序1.1、flink sql 如下：sink to pg 表的主键：idselect c1.id,c1.name1,c2.name2,c3.name3,c1.num from flink_multilist_left_join_check1 c1left join flink_multilist_left_join_check2 c2 on

2022-04-27 13:46:08 2951

原创 hive - return code （数字） from org.apache.hadoop.hive.ql.exec错误系列集合

hvie - return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://XXX to destination hdfs://xxx原因：执行hive任务的用户对hdfs://xxx没有操作权限解决：对目录授权命令：hdfs dfs -chown -R use:group hdfs://xxx...

2022-04-20 18:41:39 6597 3

原创 flink sql 特殊字符做分隔符做参数传参给自定义函数注意项

flink sql 传参给自定义函数注意项path = ‘123.323’;flink sql : pathLength(path,’.’) as depth注意项：在flink sql 中要使用单引号单杠备注：其他语言：可能是双引号双杠转义UDF函数： public int eval(String path, String sep) { if(path == null || path.trim().length() == 0){ return 0

2022-03-01 16:06:01 2467

原创 postgre sql 数组包含字符串

postgre sql 数组包含字符串cast(org.ref_id as text) = any(regexp_split_to_array(farm.“path”,’.’))

2022-03-01 14:18:41 1219

转载 flink sql java.lang.UnsupportedOperationException: class org.apache.calcite.sql.SqlIdentifier: json

java.lang.UnsupportedOperationException: class org.apache.calcite.sql.SqlIdentifier: json原因表字段类型是 json , flink 不支持；改为 string 解决转载出处：https://www.saoniuhuo.com/question/detail-1911817.html?sort=hot

2022-02-24 14:50:37 1901

转载 hvie merge into 批量更新

hvie merge into 批量更新一、使用条件2、建表要求一、使用条件hive2.2.0及之后的版本支持使用merge into 语法，使用源表数据批量目标表的数据。使用该功能还需做如下配置1、参数配置set hive.support.concurrency = true;set hive.enforce.bucketing = true;set hive.exec.dynamic.partition.mode = nonstrict;set hive.txn.manager = org

2022-02-23 15:10:45 1359

原创 hive Unexpected column vector type LIST

hive Unexpected column vector type LIST现象描述：表A字段名数据类型idbigintpatharray表B字段名数据类型idbigintnamestringa_idbigint表C字段名数据类型idbigintb_idbigint异常SQL：报表：Unexpected column vector type LISTselect A.id

2022-02-16 10:21:13 1479 2

原创 flink - debezium 采集pg库表日期数据（字段类型：date/varchar）踩坑笔记

debezium 采集pg库表日期数据（字段类型：date/varchar）表结构1 ：CREATE TABLE date_test ( whole_date varchar(255) NOT NULL, simple_date int4 NULL, cn_date varchar(255) NULL, year_month varchar(255) NULL, year_week varchar(255) NULL)表结构2 ：CREATE TABLE date_test ( wh

2022-02-09 16:31:05 1889

原创离线数仓模型构建的简单见解

离线数仓模型构建的简单见解1、业务数据与架构变化情况说明2、数据分层说明2.1 ods层模型说明2.2 dim层模型说明2.2.1 json 解析打宽成json基础表与分类拆解或合并2.2.2 json基础表规范化处理与业务打宽2.2.3 不包含json等其他嵌套字符串业务打宽2.3 dwd 层数据说明2.4 dws 层模型说明2.5 ads 层模型说明3、存在的问题与解决方案4、遗留问题1、业务数据与架构变化情况说明1、历史数据可以做更新、删除操作，当前数据会与历史数据有关联关系2、业务数据库表表

2022-01-28 17:54:08 2116

转载解决CLion控制台中文乱码

https://www.cnblogs.com/fanlumaster/p/13492736.html

2022-01-18 18:55:41 142

原创 flink 13.3 版本,数据不回撤

flink 13.3 版本,数据不回撤13.3版本问题：不回撤upsert-kafka：回撤数据触发的是rollback，而不是deleteddebezium-json：回撤数据两个都不会触发验证流程：前提：debezium 采集pg sink到kafka；启动flink任务， upsert-kafka/debezium-json 读取kafka数据sink到pg表13.3 版本：验证1：修改源表数据触发 update ，再修改源表数据触发 delete 操作，发现数据回退到update前

2021-12-20 15:32:35 1183

原创修改kafka过期时间

修改kafka过期时间步骤

2021-12-20 11:08:25 796

转载 flink任务 Ask timed out on [Actor[akka.tcp://flink@hostname:端口/user/rpc/taskmanager_0#-1963283773]]

akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka.tcp://flink@hostname:端口/user/rpc/taskmanager_0#-1963283773]] after [10000 ms]. Message of type [org.apache.flink.runtime.rpc.messages.RemoteRpcInvocation]. A typical reason for AskTimeoutExcept

2021-12-20 10:16:43 1258

原创 used for taking a checkpoint/savepoint is used when restoring

different StateBackend from the one that was used for taking a checkpoint/savepoint is used when restoring.

2021-12-20 09:33:24 1542

空空如也

空空如也