- 博客(15)
- 收藏
- 关注
RSS订阅原创 实时数据湖 flink CDC + Kafka +Doris 【企业级实战】之Source 解耦优化 【附核心源码】 03
上一篇：https://blog.csdn.net/weixin_42426485/article/details/163904839?Source 不只是“连上数据库开始读”，它决定了监听范围、初始位置、事件格式、顺序信息和后续能否可靠恢复。
2026-08-21 09:38:36
208
原创 实时数据湖 flink CDC + Kafka +Doris 【企业级实战】之 整体架构设计及实现 【附核心源码】 02
本文介绍了一个基于Flink CDC的数据同步架构设计，通过引入Kafka作为中间层实现了上下游解耦。该架构将整个同步链路拆分为三类逻辑管道：source-to-kafka（数据库变更捕获）、kafka-to-postgres和kafka-to-doris（下游消费），各管道可独立部署运行。 核心设计点包括： 数据库变更在进入Kafka前完成标准化处理，构建稳定的业务主键Key； 采用Kafka事务实现source-to-kafka的Exactly Once语义； 将Kafka中的CDC事件作为内部数据契约
2026-08-20 08:23:29
543
原创 实时数据湖 flink CDC+Doris 【企业级实战】之 整体架构设计及实现 【附核心源码】 01
本文介绍了一个基于Flink CDC的实时数据同步系统设计，用于解决业务系统数据延迟进入数据仓库的问题。原有离线同步方案（每日批量SQL）无法满足实时性需求，新方案通过以下核心设计实现分钟级延迟： 架构采用Flink CDC直接读取SQLServer变更日志，规避业务字段依赖和大表扫描问题 模块化设计分离配置管理、数据源、转换逻辑和写入逻辑 动态表分组策略平衡资源使用与并行度 基于主键+事务日志顺序（LSN）的严格有序处理 PostgreSQL批量写入优化和目标库压力控制 系统通过配置中心管理表映射关系，利
2026-08-20 08:15:55
354
原创 TDengine 数据同步踩坑复盘
摘要 本文总结了TDengine数据同步到生产环境中的10个关键踩坑点及解决方案，形成了一套从"能同步"到"生产可用"的完整方法论。核心问题包括：插件依赖不完整、JDBC链路排查、SQL动态参数优化、时间边界处理（统一使用左闭右开区间）、迟到数据处理（完整窗口+回溯机制）、幂等设计（唯一键约束）、类型兼容性检查、源端计算优先原则、数据质量校验体系（数量/范围/唯一性/异常值）以及失败恢复策略（小窗口+整窗重跑）。最终构建的生产级同步链路强调边界清晰、幂等性、可恢复性和可验证性，实现了从基础功能到生产可用的跨
2026-08-19 12:49:38
218
原创 TDengine 数据同步方案 【Mysql为例子】
本文介绍了一套从TDengine到MySQL的稳定数据同步方案。方案采用DataX作为数据传输工具，结合Shell脚本和Azkaban调度系统，实现时序数据向业务库的高效迁移。核心设计包括：1)采用左闭右开时间窗口确保数据完整性；2)处理迟到数据的回溯机制；3)通过唯一键约束实现幂等写入；4)完整的质量校验体系。方案强调源端过滤、批量控制和性能优化，并提供详细的实施路线和上线检查清单，确保数据同步的持续性、准确性、可恢复性和可验证性。适用于设备时序数据同步至业务系统、报表或BI平台的场景。
2026-08-19 12:48:03
309
原创 datax写入PG报错org.postgresql.util.PSQLException: 不支援 10 验证类型
datax写入PG数据连接错误解决
2025-07-03 14:30:14
722
原创 从零开始的大数据之路（7）-半小时搞定 DataxWeb 集成 Datax 数据可视化集成平台（单节点executor & 多节点executor）
数据可视化抽取平台
2025-06-27 17:33:21
1779
原创 从零开始的大数据之路（5）- Linux（Centos）半小时搞定 Zookeeper 单机版的安装 &集群版安装
【代码】从零开始的大数据之路（5）- Linux（Centos）Zookeeper 单机版的安装 &集群版安装。
2025-06-24 17:30:39
548
原创 从零开始的大数据之路（4）-Linux（Centos） JDK1.8 的安装（三分钟搞定JDK1.8的安装）
摘要 本文详细介绍了如何三分钟搞定JDK1.8的安装部署过程：首先下载JDK1.8安装包并上传至服务器；然后将包分发到其他两台服务器；接着解压到指定目录并重命名；最后配置环境变量并验证安装。主要步骤包括：1)使用scp命令分发文件；2)解压并更名jdk目录；3)编辑/etc/profile文件设置JAVA_HOME环境变量；4)执行source命令使配置生效；5)通过java -version验证安装成功。全文以简明扼要的方式呈现了JDK1.8的完整安装流程。
2025-06-24 16:03:05
369
原创 从零开始的大数据之路（3） - 三十分钟学会 单节点mysql&mysql主从搭建 （保姆级无坑教程）
博主只给大家带来干货，在这个知识付费的年代，博主花时间和精力免费分享无坑干货给大家，你来你就赚，你学你就比别人厉害，我不怕我的东西不够好，而是你没有缘分遇到我这个干货博主！
2025-06-20 17:43:50
383
原创 从零开始的大数据之路（1）Linux Centos7的安装保姆级教程（网络、SSH免密、克隆） 博主带你玩转虚拟机及大数据！
centos7 linux 学习的基础，构建三节点的虚拟机，也是后续学习大数据的基础，有需要的自取哦，博主会写一系列的成体系的文章分享给大家，希望可以帮助到各位
2025-06-19 17:41:57
709
原创 从零开始的大数据之路（2）- linux基础篇（一次学会永不回头）
开篇自我介绍：Hello 大家好，我是一个从事大数据行业5年+的程序员，去过比较大规模的公司，也帮助过公司从零到一搭建一个稳定实用的数据中台。今天分享的是一些常用的linux命令，主要是在使用centos过程中经常会使用到的，这里只面向搭建数据中台需要的进行讲解，如果有需要更多的命令的评论区留言，如果需要的人比较多，会考虑写一份全面的分析给大家。（没有安装虚拟机的后面我出一个虚拟机的安装教程）
2025-06-06 17:32:14
2122
1
原创 java.sqlSQLException: null message from server. “Host 1923.0.41‘ is blocked mysql 服务器错误连接数过多导致主机被锁
错误：java.sqlSQLException: null message from server. "Host 17230 0 46' is b。解决方法：flush hosts;刷新主机列表解除锁定。
2024-01-09 15:51:52
631
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人