自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(18)
  • 收藏
  • 关注

原创 讲师征集令 | Apache SeaTunnel(Incubating) Meetup 分享嘉宾火热招募中

Apache SeaTunnel(Incubating)社区线上 Meetup 讲师&议题正式对外征集啦!疫情之下,社区举办的线上交流活动依然热火朝天。在此我们诚心向社区广大用户发起邀请,借你之力让社区更加强大,帮助到更多的人!社区重于代码,社区会记住每一位为之做出贡献的讲师! 如果您想贡献您的想法、分享您的经验、锻炼演讲能力,可以在滑到下方扫描二维码报名,我们将在7个工作日内联系您,在此之前您可以了解分享嘉宾在Meetup中的收获。............

2022-07-07 13:15:22 53

原创 海量数据同步首选 SeaTunnel Zeta 引擎正式发布!

Apache SeaTunnel(incubating) 正式推出 2.3.0 正式版本,并正式发布自己的核心同步引擎 Zeta!此外,SeaTunnel 2.3.0 还带来了许多大家期待已久的新特性,包括支持 CDC、以及近百种 Connector 等。

2023-01-05 14:12:17 117

原创 解读重要功能特性:新手入门 Apache SeaTunnel CDC

举个例子,我们前面讲了可以利用 CDC 将 MySQL 的数据同步到 Elasticsearch 中以供搜索,在这样的架构里,所有的查询都用 ES 来查,但在想修改数据时,并不直接修改 ES 里的数据,而是修改上游的 MySQL 数据,使之产生数据更新事件,事件被消费者消费来更新 ES 中的数据,这就基本上是一种 CQRS 模式。另外包括社区的展望和目前在做的一些事情。这个情况下,小数量的表手写还可以应付,如果数量大可能就出现类型映射错误的问题,或者参数配置错误的问题,就会产生很高的运维成本(配置麻烦)。

2023-01-04 20:46:37 166

原创 SeaTunnel 在天翼云数据集成平台的探索实践

SeaTunnel 整合到天翼云数据平台在架构层面的设计与思考。

2022-12-26 16:01:11 94

原创 6个实用技巧,让你快速入门数据集成平台,成倍提升工作效率

数据集成是将这些独立的数据整合到一起,以产生更高的数据价值和更丰富的数据洞见的过程。针对以上N种情况,我们联合 PowerData 社区推出的这个主题活动:数据集成—从入门到实践,如果你也是接触开源“数据集成平台”的小白用户,也碰到了某些原因“卡壳”了,那这次的分享你一定不要错过了,我们还特地邀请了社区 PPMC 田超和白鲸开源高级工程师李宗文,通过他们的分享让用户能更快更好更便捷的使用Apahce SeaTunnel。我相信社区花费精力筹备的活动,你一定能听到一手的分享,得到一手的收获!

2022-12-09 17:33:58 24

原创 Meetup预告:SeaTunnel在天翼云数据集成平台的探索实践

大数据时代下,数据开发治理成为企业数据资产管理、提升数据质量、数据智能应用等过程的关键。数据开发治理成功与否,关系着实现能否实现企业数据价值的最大化。

2022-11-21 18:04:11 54

原创 比DataX快20%!SeaTunnel同步计算引擎性能测试全新发布

在相同测试环境下,最新发布的同步计算引擎SeaTunnel Engine均比DataX同步数据的速度更快。

2022-11-16 11:31:07 265

原创 马蜂窝毕博:分析完这9点工作原理,我们最终选择了 Apache SeaTunnel!

轻松支持更多类型数据存储,更简单友好的方式学习和设置ETL管道。

2022-11-04 13:55:41 486

原创 Apache SeaTunnel(Incubating) 2.2.0-beta 版本发布!API 重构,连接器与引擎解偶

新版本对 ConnectorAPI 进行了重构,将连接器与引擎解偶,同时社区基于新 API 完成了大量连接器的接入,并修复了上个版本中存在的使用性问题,提高了版本稳定性和使用效率。

2022-10-10 17:18:23 503

原创 SeaTunnel连接器V1到V2的架构演进与探究

连接器V2在架构分层上与计算引擎进行解耦,定义了自己的元数据定义以及数据类型定义,在API层和计算引擎层增加了翻译层,将SeaTunnel自定义的数据源通过翻译层接入到引擎中,从而真正实现接口和引擎分离的目的。已经是对接入数据源的高度抽象,在此基础上我们只需要在插件中处理这些数据抽象即可,同时借助于Flink和Spark提供的SQL接口,还可以将每一次处理完的数据注册成表,方便用SQL进行处理,减少代码的开发量。整个流程与Base模块一致,在这里笔者不过多赘述,有兴趣的读者可以自行观看源码。

2022-10-09 10:05:48 967

转载 从启动到关闭 | SeaTunnel2.1.1源码解析

点亮 ⭐️ Star · 照亮开源之路​本文转载自Adobee Chen的博客-CSDN博客,看看是否有你感兴趣的吧!如有出错,请多指正。来,和社区一同成长!Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据(离线 & 实时)同步和转化的数据集成平台。

2022-10-08 14:18:12 118

原创 对话来自韩国 Kakao 的海外贡献者 | 我为什么要为 SeaTunnel 做贡献?

点亮 ⭐️ Star · 照亮开源之路。

2022-09-20 15:31:39 59

原创 SAP RFC 接口基于 SeaTunnel 开发实践,打通企业内部数据采集的最后一个壁垒

​无论是甲方还是乙方,我们在采集数据进行数仓模型建设时,企业的ERP一旦切换到SAP系统中,**安全挑战问题在于:**传统数仓模式离线接入SAP HANA,对于多集团公司又涉及到数据权限和隔离等安全问题,一般集团大型企业不太会开放HANA数据库进行接入,同时SAP的业务表逻辑也比较复杂;**技术门槛在于:**我们要有对应的java开发工程师,每一个数据表就要开发一个接口,而且接口的传输速度也很慢,只能适合小批量的数据接入;

2022-09-09 22:32:31 271

原创 【活动预告】数据集成海外专场Meetup:走进Shopee,聊透SeaTunnel优化实践

*演讲概要:**介绍SeaTunnel的使用方式和基本概念,以及相比传统数据同步有何优势。「Meritocracy」**(精英管理)、以及「**多样性与共识决策」**等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!无论你是热衷于钻研开源技术的开发者,还是**“数据集成+数据同步”**的开源资深爱好者,都能这些前沿的案例从中获得全新的灵感。**演讲题目:**SeaTunnel x Druid在 Shopee 的开发实践。

2022-09-09 10:39:13 105

原创 【SeaTunnel】从一个数据集成组件演化成企业级的服务

作业运维与实例运维就像我之前说的那样,作业的运维一般是**手动触发(包含补数据和单次触发)、暂停调度、查看作业内容等,**而实例的运维一般是**重跑、KILL、查看日志等,**不过值得注意的是,我们的作业有实时和离线之分,所以在作业和实例的运维上有不同的体现实时任务不存在调度周期、不存在任务依赖,所以实时任务的运维会有不同的体现。再看看状态,这里的状态其实是取的这个任务最近一次执行的状态,如果没有执行记录就是unstart,其它的比较好理解,就不再赘述了,使用Git作为代码管理;...

2022-08-01 22:12:48 682

原创 Apache SeaTunnel & Doris7月联合Meetup,从数据集成到分析实践

随着大数据时代的来临,数据的处理对企业的技术团队挑战越来越高,数据在同步时能否支持各种数据源?应对海量的增量数据实例如何拥有更好的性能?数据聚合平台是否能开箱即用/方便二次开发?应对数据采集多场景和工具的是否具备良好的拓展性等,都是数据开发工程师关心的切实痛点问题,而对于企业来说,海量数据如何更好更快的分析应用,数据如何驱动业务更好的发展,成为相当重要的一环。而庞大的数据增量以及业务多变的数据分析需求,对于企业以及工程师都是极大的挑战,在这样迫切的需求下,数据集成及数据分析就显得尤为重要。如今,我们也可以看

2022-07-11 17:15:39 324

原创 可视化任务编排&拖拉拽 | Scaleph 基于 Apache SeaTunnel的数据集成

这次在 6月 Meetup 为大家带来的是Scaleph 基于 Apache SeaTunnel (Incubating) 的数据集成介绍,希望你有所收获。本次演讲主要包括五个部分:Apache SeaTunnel (Incubating) 王奇Apache SeaTunnel Contributor搜索推荐工程师,大数据 Java 开发我最早是从事搜索推荐工作,在团队里面负责维护Dump系统,主要是为我们的搜索引擎提供喂数据的功能,先给大家介绍在维护过程中主要的5个痛点问题:搜索推荐是电商平台的核心在线系

2022-07-04 19:56:16 1307 1

原创 那些年,我们在Apache SeaTunnel 2.1.0部署中踩过的坑【含源码分析】

SeaTunnel 原名Waterdrop,自2021年10月12日改名为SeaTunnel。SeaTunnel是一个非常易于使用的超高性能分布式数据集成平台,支持海量数据的实时同步。它每天可以稳定高效地同步数百亿数据,已在近100家公司的生产中使用。易于使用,配置灵活,低代码开发实时流媒体离线多源数据分析高性能、海量数据处理能力模块化和插入式机构,易于扩展支持通过SQL进行数据处理和聚合支持Spark结构化流媒体支持Spark 2.x这里我们踩了一个坑,因为我们测试的spark环境已经升级到了3.x版本,

2022-06-01 19:29:58 488

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除