- 博客(70)
- 收藏
- 关注
RSS订阅原创 Flink CDC 同步表至Paimon 写数据流程，write算子和commit算子。
流程图一般基本flink cdc 任务同步数据至paimon表时包含3个算子，source、write、global commit。source端一般是flink connector实现的连接源端进行获取数据的过程，本文探究的是source算子获取的到数据如何传递给writer算子？writer算子如何写数据？global commit算子做了什么事情？第一问：默认根据primary key的hash值决定往哪个桶写入，一个桶对应了一个lsm tree writer。
2024-07-14 14:20:11
1025
原创 一图搞定Flink Oracle CDC 同步至Paimon（持续更新）
本文以Flink 1.18、FLink CDC 3.1为环境，配置Flink CDC 同步Oracle的数据至Paimon
2024-05-19 14:52:04
1130
原创 一图入门LSM Tree
其实是回答为什么写入快，因为先通过跳跃表活着B树等顺序写入内存，内存满了在一层层往下flash。同时为了保证一定的读取性能需要进行Compaction。通过对数据存储格式的改变，使得数据在写入的时候可以顺序写，写入速度很快。LSM是一种存储结构，组织了数据在存储介质（磁盘）上的方式。本图主要解释了LSM是什么，有什么用，以及为什么？这边再进行简要总结，具体内容可以查看图片。
2024-05-11 09:02:10
213
原创 annaconda的虚拟环境和pycharm terminal执行命令所在环境不同
解决annaconda的虚拟环境和pycharm terminal执行命令所在环境不同
2023-02-27 10:16:20
671
1
原创 代码随想录刷题记录day46 最长递增子序列+最长连续递增序列+最长重复子数组
代码随想录刷题记录day46 最长递增子序列+最长连续递增序列+最长重复子数组
2022-12-18 23:11:53
348
原创 代码随想录刷题记录 day45 最佳买卖股票时机含冷冻期+买卖股票的最佳时机含手续费
代码随想录刷题记录 day45 最佳买卖股票时机含冷冻期+买卖股票的最佳时机含手续费
2022-12-18 16:43:46
113
原创 代码随想录刷题记录day34 动态规划理论基础+斐波那契数+爬楼梯+使用最小花费爬楼梯
代码随想录刷题记录day34 动态规划理论基础+斐波那契数+爬楼梯+使用最小花费爬楼梯
2022-12-02 22:11:57
611
原创 代码随想录刷题day30 K 次取反后最大化的数组和 + 加油站 + 分发糖果
代码随想录刷题day30 K 次取反后最大化的数组和 + 加油站 + 分发糖果
2022-11-28 21:57:07
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人