- 博客(329)
- 收藏
- 关注
RSS订阅
原创 数据同步工具调研选型：SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比
Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 Apache 基金会的数据集成顶级项目。SeaTunnel 主要解决数据集成领域的常见问题：数据源多样：常用的数据源有数百种，版本不兼容。随着新技术的出现，出现了更多的数据源。用户很难找到能够全面快速支持这些数据源的工具。复杂同步场景。
2023-11-14 10:54:43
6800
7
原创 SeaTunnel毕业！首个国人主导的数据集成项目成为Apache顶级项目
这是首个由国人主导并贡献到 ASF 的大数据集成领域的顶级项目，这一里程碑的达成标志着 SeaTunnel 在开源软件开发领域的突破，并为其在技术、社区合作和开放创新方面的卓越表现获得了广泛认可。
2023-06-01 14:54:13
4533
原创 （四）收官篇！从分层架构到数据湖仓架构系列：数据服务层和数据应用层及湖仓技术趋势小结
本文为系列文章末篇，将详细剖析数据仓库分层下的数据服务层和数据应用层设计，并对当下湖仓技术以及未来技术趋势进行系统的总结。
2025-11-19 15:56:24
1013
原创 深陷 Sqoop+Canal 困境？中控技术用 SeaTunnel 打造高效数据采集破局方案
核心数据一致性达99.99%、开发效率提升50%、运维成本降低70%——这是中控技术采用 Apache SeaTunnel 构建数据采集框架及相关数据服务体系后的实测成效。
2025-11-19 15:44:51
1717
原创 Apache SeaTunnel 如何将 CDC 数据流转换为 Append-Only 模式？
RowKindExtractor 是 Apache SeaTunnel 的一个转换插件，它能将 CDC 数据流转为 Append-Only 模式，并提取原始 RowKind 信息为新字段。本文将介绍 RowKindExtractor 的核心功能，其在 CDC 数据同步场景下的使用方法，以及配置选项、注意事项及多种应用示例。
2025-11-19 15:10:13
750
原创 结项报告完整版 | Apache SeaTunnel支持metalake开发
接下来是关于Apache SeaTunnel支持metalake开发这一项目的完整报告：
2025-11-12 11:29:38
559
原创 结项报告完整版：Apache SeaTunnel 支持 Flink 引擎 Schema Evolution 功能
接下来是关于在 Flink 引擎上对 Schema Evolution 功能的支持这一项目的完整报告：
2025-11-12 11:06:58
1003
原创 数据采集故障频发，中控技术靠SeaTunnel实现日均TB级核心数据同步任务0出错
崔俊乐，中控技术股份有限公司数据技术主管。拥有多年数据领域工作经验，深度参与集团级数据平台的规划、建设与技术演进。在大数据技术的采集、存储与计算方面具备深厚的架构与实践经验。作为SeaTunnel的深度实践者，他将分享如何利用该工具在企业内部构建高效、统一的数据链路，驱动数据技术方向的落地与创新。
2025-11-05 15:06:49
885
原创 Apache SeaTunnel 支持 Metalake 开发了！避免任务配置敏感信息暴露
在2025年开源之夏活动中，我参与了Apache SeaTunnel项目的开发，目标是解决任务配置中敏感信息暴露的问题。
2025-11-05 14:42:00
1011
原创 （三）从分层架构到数据湖仓架构系列：数据仓库分层之贴源层和数据仓库层设计
本文为系列文章第三篇，详细剖析了数据仓库分层下的贴源层和数据仓库层设计。
2025-10-29 11:04:50
682
原创 数据采集故障频发，中控技术靠SeaTunnel实现日均TB级核心数据同步任务0出错
在企业数字化浪潮中，数据采集早已不是 "能同步就行" 的简单命题——多元异构数据源的割裂、TB 级数据的吞吐压力、跨系统同步的稳定性挑战，正成为多数企业的 "数据顽疾"。而中控技术，这家服务全球 35000 家客户的工业 AI 平台型企业，却用 Apache SeaTunnel 交出了一份惊艳答卷：核心数据同步任务实现 0 故障运行。
2025-10-29 10:45:33
560
原创 Apache SeaTunnel 9 月动态：多模块修复 + 新功能上线，社区贡献成果亮眼
本月，社区 21 位贡献者共同参与了 Apache SeaTunnel 的修复与功能升级，助力数据同步能力提升。
2025-10-29 10:24:35
768
原创 （二）从分层架构到数据湖仓架构：数据仓库分层下的技术架构与举例
本文为系列文章第二篇，详细剖析了数据仓库分层下的技术架构，并附以以示例，希望能够为相关从业者提供数据湖仓设计与实践的系统指引。
2025-10-23 17:58:25
466
原创 预祝 1024！X2SeaTunnel：一场 AI Coding 与数据平台结合的深度实践
（记录时间非常重要，实现代码的时候，是 2025 年 6 月，当下 AI 的发展是每个月一变，到现在 2025 年 10 月，AI Agent 模式已经可以覆盖更加底层，更加复杂的需求了。就像做 SQL 引擎之间的转换的时候，可以考虑用抽象语法树的方式来做。就像 CPU 很快的时候，硬盘就会成为瓶颈，迭代产品目标的过程中，我们每次的功能验证就是瓶颈，所以我们要有意识地加快功能验证的步骤，比如我在开发 X2SeaTunnel 的时候，把编译打包，功能验证，观察等都尽量流程化，脚本化。
2025-10-23 17:30:09
863
原创 速看！用 Apache SeaTunnel 轻松实现数据到 S3 Tables 的快速集成
本文将介绍如何使用 Apache SeaTunnel ，一个高性能、分布式的大规模数据集成工具，通过兼容 Iceberg rest catalog 的实现对接 S3 Tables 实现实时和批量数据集成。
2025-10-23 17:27:41
681
原创 新兴数据湖仓手册·从分层架构到数据湖仓架构(2025)：数据仓库分层的概念与设计
数据仓库通过分层结构，使得每层数据都有特定的应用范围和职能，从而保证数据结构层次更清晰，结构更明确。使用时，数据表的层级划分能帮助用户快速理解和定位相关数据，减少查询复杂性。
2025-10-15 17:50:34
1075
原创 最佳实践：基于Apache SeaTunnel从MySQL同步到PostgreSQL
今天和大家分享一个 简单但常见的 MySQL 到 MySQL 数据同步与合并场景案例，这个案例也是我在实际工作中遇到的问题，希望能抛砖引玉，欢迎有更丰富经验的大佬一起分享交流。
2025-10-15 16:15:32
860
原创 AI Coding实现X2SeaTunnel的设计、开发与落地
当企业数据集成作业规模突破千万级，从 DataX、Sqoop 迁移到 Apache SeaTunnel 的过程往往布满荆棘——配置格式不兼容、字段映射易出错、批量转换效率低，每一步都可能成为项目推进的 “拦路虎”。
2025-10-15 15:40:51
650
原创 从小时级到分钟级：多点DMALL如何用Apache SeaTunnel把数据集成成本砍到1/3？
过去我们依赖 Spark 自研同步工具，虽然稳定，却面临“启动慢、资源重、扩展难”的痛点。
2025-10-10 17:36:53
716
原创 （三）数仓人必看！ODS 到 DWS 各层设计规范全解析，含同步/存储/质量核心要点
本文为系列文章第三篇，详细剖析了数仓各层的设计规范，包含同步、存储、质量等核心要点。
2025-09-25 16:50:25
933
原创 用 SeaTunnel 同步 MySQL 到 Doris：全量增量 + SQL 过滤
Apache SeaTunnel 能够实现 MySQL 到 Doris 的全量和增量数据同步，同时也支持 SQL 级别的数据过滤。
2025-09-25 16:35:28
625
原创 一文掌握 Apache SeaTunnel 构建系统与分发基础架构
本文介绍基于Maven的SeaTunnel构建系统与分发基础架构。涵盖多模块项目如何构建、二进制分发包如何组装、连接器插件如何打包与发现，以及如何创建Docker镜像用于部署。有关运行时插件加载机制的信息，请参阅插件管理与发现（有关CI/CD工作流程和测试的详细信息，请参阅CI/CD与测试框架（
2025-09-25 15:44:20
874
原创 干货预警！Apache SeaTunnel 助力多点 DMALL 构建数据集成平台，探索AI新零售行业应用！
亲爱的社区朋友们，数据集成领域的一场知识盛宴即将来袭！9 月 30 日下午 2 点，Apache SeaTunnel 社区精心策划的又一场线上 Meetup 将准时与大家云端相见！
2025-09-18 18:31:49
293
原创 Apache SeaTunnel 2.3.12 发布！核心引擎升级、连接器生态再扩张
近期，Apache SeaTunnel 2.3.12 正式发版。这是继 2.3.11 之后的又一次迭代，本周期合并 82 个 PR，提供 9 项新特性、30+ 项功能增强、20+ 处文档修正，并修复 43 个 Bug。核心改进集中在 SensorsData 与 Databend 生态接入，Paimon、ClickHouse、MaxCompute 等连接器读写能力扩充，SQL Transform 语法与向量函数增强，以及 Zeta 引擎 Checkpoint 细粒度监控及 REST 接口易用性提升等方面。
2025-09-18 18:24:56
1046
1
原创 从“分散”到“统一”，中控技术利用SeaTunnel构建高效数据采集框架，核心数据同步任务0故障运行！
本文将深入探讨中控技术基于 Apache SeaTunnel 构建企业级数据采集框架的实践，重点分享集群高可用配置、性能调优、容错机制及数据质量监控等方面的具体思考与方案。
2025-09-18 18:06:51
1511
原创 喜报！白鲸开源 CEO 荣登「2025 中国数智化转型升级先锋人物」榜
北京白鲸开源 CEO 郭炜入选《2025中国数智化转型升级先锋人物》榜单，在现场获得了组委会颁发的荣誉证书和奖杯。
2025-09-10 10:31:45
397
原创 一行代码引发 12G 内存 5 分钟爆仓！SeaTunnel Kafka 连接器“内存溢出“元凶抓到了
在Apache SeaTunnel 2.3.9版本的Kafka连接器实现中，存在一个潜在的内存溢出风险。
2025-09-10 10:10:40
449
原创 实测有效｜用 SeaTunnel 免费实现 MySQL→Oracle 实时同步，步骤超细
要说 MySQL 同步到Oracle的工具，除了传统的 OGG，应该考虑的就是 ST（SeaTunnel） 了吧，简直太好用啦 ~
2025-09-10 10:02:03
787
原创 （一）数据模型架构原则：四层七阶，数据湖仓建模的“第一块基石”
《新兴数据湖仓设计与实践手册·数据湖仓建模及模型命名规范（2025年）》 由四篇递进式指南组成，以“模型架构—公共规范—分层规范—命名规范”为主线，系统构建可演进、可治理、可共享的现代数据湖仓。
2025-09-02 17:55:33
775
原创 SeaTunnel 如何给 MySQL 表做“精准切片”？一篇读懂 CDC 分片黑科技
Apache SeaTunnel MySQL CDC连接器为了实现并行读取，需要将大表切分成多个分片（Split）。对于非主键表，连接器提供了多种智能切分策略来保证数据的完整性和读取效率。本文将详细介绍 Apache SeaTunnel 支持的核心切分策略，切分策略机制及实现方式，并对比各个切分策略的优劣势。
2025-09-02 17:29:55
992
原创 Apache SeaTunnel闪耀2025中国数据库技术大会，荣获「年度优秀技术团队奖」
近日，第十六届中国数据库技术大会（DTCC 2025）在北京举行。Apache SeaTunnel 作为下一代多模态、高性能、分布式海量数据集成领域的领军项目受邀参会，并摘得 2025 “年度优秀技术团队奖”。
2025-08-27 14:28:32
304
原创 收藏！史上最全 Apache SeaTunnel Source 连接器盘点 (2025版)，一篇通晓数据集成生态
今天，我们将为您献上一份史上最全的 Apache SeaTunnel Source 连接器清单，带您一文领略其生态系统的广度与深度。无论您是架构师、数据工程师还是开发者，这份清单都值得您收藏！
2025-08-20 14:12:41
1024
原创 把数套数据传输通道一键“折叠”成 SeaTunnel：同程工程师周晓晨的实战笔记
本文将以“选型—落地—共建—展望”为主线，透视同程旅行如何把 SeaTunnel 从备选方案变成统一数据通道，并通过 Operator、Sqoop 迁移工具、Fluss Connector、Scala 编译等二次开发，让开源项目真正长在企业的土壤上；也记录了一位程序员如何在社区里完成“使用者→贡献者→深度贡献者”的身份蜕变。
2025-08-20 11:18:39
999
原创 SeaTunnel MCP Server 入选《中国信通院开源商业产品及企业典型案例集（2025）》
在本次活动中，白鲸开源申报的「SeaTunnel MCP Server：分布式数据集成能力的“神经中枢”」案例成功入选《中国信通院开源商业产品及企业典型案例集（2025）》，并获得主办方颁发的奖牌。
2025-08-13 16:00:51
379
原创 中国 Apache 项目 OpenRank 排行榜 Top 20：白鲸开源深度参与两大上榜项目
如果把开源世界比作一条奔涌的大河，过去十年里，中国开发者已经从“岸边试水”变成了“中流击水”。。而在影响力与贡献度的双轴坐标上，。从数量上来看，在全球 Apache 项目 OpenRank 排行榜 Top20 中，中国项目占据了 7 席。但中国开发者对于 Apache 基金会项目的参与不仅论“数量”，更是讲究“质量”。Apache 基金会各国开发者贡献度排行榜 Top 20 显示，中国在贡献度、开发者总数以及贡献仓库数量等多个维度均排名第一，充分体现了中国开发者在 Apache 项目上的深度参与。
2025-08-06 17:24:29
828
原创 从《中国开源年度报告》看中国开源力量的十年变迁中，Apache SeaTunnel 的跃迁
十年前，中国开发者更多扮演着开源世界的“搬运工”：下载、试用、反馈，贡献寥寥。转折点出现在 2019 年前后，ASF 孵化器里的中国面孔开始增多，SeaTunnel 正是在 2021 年迈入孵化器的大门。2023 年，中国开发者对 Apache 基金会的贡献度首次超过美国，2024 年则把优势扩大到“比美国少一半的人，却交出了近一半的贡献”。技术纵深——自研 Zeta 引擎在同样硬件下数据同步性能快 30%，让“国产替代”不再只是口号；场景纵深。
2025-08-06 17:07:57
1099
原创 深入底层：如何优雅部署 SeaTunnel 分离集群到 Kubernetes
*准备 Kubernetes 环境：**确保已搭建并运行一个可用的 Kubernetes 集群，并安装所有必要的组件。**构建 SeaTunnel Docker 镜像：**如果没有二次开发需求，可直接使用官方提供的镜像。否则，在本地编译打包后，编写 Dockerfile 并构建 SeaTunnel 镜像。
2025-08-06 16:36:12
985
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人