- 博客(10)
- 收藏
- 关注
RSS订阅原创 FlinkSQL 之乱序问题
- Flink 框架在可以保证 operator 和 operator hash 时， 一定是可以保证具有相同 hash 值的数据的在两个 operator 之间传输顺序性- Flink 框架无法保证数据连续多个 operator hash 的顺序， 当 operator 和 operator 之间的 hash 条件发生变化， 则有可能出现数据的顺序性问题。- 当 hash 条件由少变多时， 不会产生顺序问题， 当 hash 条件由多变少时， 则可能会产生顺序问题。
2023-08-04 11:08:55
543
原创 FlinkSQL 写入 Hudi
hudi支持flink 写入的方式有CDC Ingestion, Bulk Insert, Index Bootstrap, Changelog Mode and Append Mode。
2023-08-03 17:36:21
348
2原创 Flink1.13.0 + Hudi 0.11.1 + Hive2.1.1 + presto0.273.3 + yanagishima 18.0
flink1.13.0 整合 Hudi 0.11.1 ,通过FlinkSQL程序和FlinkSQL命令行，对Hudi的MOR及COW进行批量写、流式读取、批量读取。通过flink cdc 、flink kafka 探究流式数据入Hudi案例。探究Hudi和Hive的整合，怎么通过hive查询管理Hudi表。第1种是在hive 创建Hudi 外部表，手动加分区的形式......
2022-07-12 17:57:15
1524
原创 flink1.14.4 + iceberg0.13.2 + Hive2.1.1 + presto0.273.3 + yanagishima 18.0 + FineBI5.1.24 (二）
摘要：基于Flink1.14.4 + Iceberg0.13.2 , 使用FlinkStream API 操作Iceberg，包含使用catalog 类型为hadoop 以及hive的表的创建、批量读取、流式读取、追加、覆盖、修改表结构、小文件合并，分别就DataStream
2022-07-12 11:28:42
635
原创 flink1.14.4 + iceberg0.13.2 + Hive2.1.1 + presto0.273.3 + yanagishima 18.0 + FineBI5.1.24 (四）
摘要：Iceberg0.13.2 整合 Presto0.273.3，并使用yanagishima 18.0提供图形化界面，使用DBeaver 及 FineBI5.1.24 连接 Presto，实现Iceberg的即席查询及报表展示。
2022-07-11 18:02:34
1777
原创 flink1.14.4 + iceberg0.13.2 + Hive2.1.1 + presto0.273.3 + yanagishima 18.0 + FineBI5.1.24 (三）
flink1.14.4 + iceberg0.13.2 + Hive2.1.1 + presto0.273.3 + yanagishima 18.0 + FineBI5.1.24 之 Iceberg 整合 Hive
2022-07-11 15:43:26
362
原创 flink1.14.4 + iceberg0.13.2 + Hive2.1.1 + presto0.273.3 + yanagishima 18.0 + FineBI5.1.24 (一）
Flink1.14.4 + Iceberg0.13.2 + Hive2.1.1 + Presto0.273.3 + yanagishima 18.0 + FineBI5.1.24
2022-07-11 14:24:42
458
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人