- 博客(77)
- 收藏
- 关注
RSS订阅原创 clickhouse sql 语法参考
clickhouse sql 语法参考1. select1.1 将结果中的某些列与 re2 正则表达式匹配，可以使用 COLUMNS 表1.2 ARRAY JOIN - 数组数据平铺1.3 LEFT ARRAY JOIN常用sql 汇总1. 查询数据库表大小1. select1.1 将结果中的某些列与 re2 正则表达式匹配，可以使用 COLUMNS 表COLUMNS(‘regexp’) 例如表: CREATE TABLE default.col_names (aa Int8, ab Int8
2024-08-01 17:55:09
450
原创 flink 最后一个窗口一直没有新数据，窗口不关闭问题
窗口类型：滚动窗口@Override@Override@Override//乱序时间} else {// 10s内没有数据则关闭当前窗口state.f1){System.out.println("触发窗口,maxWatermark + 6000L:" + (maxWatermark + 6000L));} else {System.out.println("正常发送水印");代码部分逻辑说明。
2024-01-17 23:19:34
1010
原创 flink Mysql CDC（动态加表）、postgresqlCDC 和 CDC无锁算法
flink Mysql CDC（动态加表）、postgresqlCDC 和 CDC无锁算法
2023-07-21 17:34:50
2327
1
原创 postgresSql - select group by 和 子查询select 明细外层group by 的性能对比
select group by 和 子查询select 明细外层group by 的性能对比
2022-10-18 11:20:07
486
原创 postgresSql/pgsql 函数使用[json[数组]解析、每日累计，字符串拼接、去重、排序 等]
postgresSql/pgsql 函数使用[json[数组]解析、每日累计，字符串拼接、去重、排序 等]
2022-09-14 11:16:26
5725
原创 记 - Flink SQL Upsert Kafka Sink 数据乱序排查与解决思路【业务数据任意修改】
Flink SQL Upsert Kafka Sink 数据乱序
2022-07-18 16:43:20
2890
原创 flink sql 数据乱序或数据被覆盖
flink sql 数据乱序原因分析1、多表left join 乱序1.1、flink sql 如下：2、多表与主表关联数据乱序1、多表left join 乱序1.1、flink sql 如下：sink to pg 表的主键：idselect c1.id,c1.name1,c2.name2,c3.name3,c1.num from flink_multilist_left_join_check1 c1left join flink_multilist_left_join_check2 c2 on
2022-04-27 13:46:08
3055
原创 hive - return code （数字） from org.apache.hadoop.hive.ql.exec错误系列集合
hvie - return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://XXX to destination hdfs://xxx原因：执行hive任务的用户对hdfs://xxx没有操作权限解决：对目录授权命令：hdfs dfs -chown -R use:group hdfs://xxx...
2022-04-20 18:41:39
6787
3
原创 flink sql 特殊字符做分隔符做参数传参给自定义函数注意项
flink sql 传参给自定义函数注意项path = ‘123.323’;flink sql : pathLength(path,’.’) as depth注意项：在flink sql 中要使用 单引号单杠备注：其他语言：可能是双引号双杠转义UDF函数： public int eval(String path, String sep) { if(path == null || path.trim().length() == 0){ return 0
2022-03-01 16:06:01
2544
原创 postgre sql 数组包含字符串
postgre sql 数组包含字符串cast(org.ref_id as text) = any(regexp_split_to_array(farm.“path”,’.’))
2022-03-01 14:18:41
1306
转载 flink sql java.lang.UnsupportedOperationException: class org.apache.calcite.sql.SqlIdentifier: json
java.lang.UnsupportedOperationException: class org.apache.calcite.sql.SqlIdentifier: json原因 表字段类型是 json , flink 不支持；改为 string 解决转载出处：https://www.saoniuhuo.com/question/detail-1911817.html?sort=hot
2022-02-24 14:50:37
2009
转载 hvie merge into 批量更新
hvie merge into 批量更新一、使用条件2、建表要求一、使用条件hive2.2.0及之后的版本支持使用merge into 语法，使用源表数据批量目标表的数据。使用该功能还需做如下配置1、参数配置set hive.support.concurrency = true;set hive.enforce.bucketing = true;set hive.exec.dynamic.partition.mode = nonstrict;set hive.txn.manager = org
2022-02-23 15:10:45
1430
原创 hive Unexpected column vector type LIST
hive Unexpected column vector type LIST现象描述：表A字段名数据类型idbigintpatharray表B字段名数据类型idbigintnamestringa_idbigint表C字段名数据类型idbigintb_idbigint异常SQL：报表：Unexpected column vector type LISTselect A.id
2022-02-16 10:21:13
1542
2
原创 flink - debezium 采集pg库表日期数据（字段类型：date/varchar）踩坑笔记
debezium 采集pg库表日期数据（字段类型：date/varchar）表结构1 ：CREATE TABLE date_test ( whole_date varchar(255) NOT NULL, simple_date int4 NULL, cn_date varchar(255) NULL, year_month varchar(255) NULL, year_week varchar(255) NULL)表结构2 ：CREATE TABLE date_test ( wh
2022-02-09 16:31:05
1948
原创 离线数仓模型构建的简单见解
离线数仓模型构建的简单见解1、业务数据与架构变化情况说明2、数据分层说明2.1 ods层模型说明2.2 dim层模型说明2.2.1 json 解析打宽成json基础表与分类拆解或合并2.2.2 json基础表规范化处理与业务打宽2.2.3 不包含json等其他嵌套字符串业务打宽2.3 dwd 层数据说明2.4 dws 层模型说明2.5 ads 层模型说明3、存在的问题与解决方案4、遗留问题1、业务数据与架构变化情况说明1、历史数据可以做更新、删除操作 ，当前数据会与历史数据有关联关系2、业务数据库表表
2022-01-28 17:54:08
2147
原创 flink 13.3 版本,数据不回撤
flink 13.3 版本,数据不回撤13.3版本问题：不回撤upsert-kafka：回撤数据触发的是rollback，而不是deleteddebezium-json：回撤数据两个都不会触发验证流程：前提：debezium 采集pg sink到kafka；启动flink任务， upsert-kafka/debezium-json 读取kafka数据sink到pg表13.3 版本：验证1：修改源表数据触发 update ， 再修改源表数据触发 delete 操作，发现数据回退到update前
2021-12-20 15:32:35
1220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人