WaterDrop on spark/flink(v2.x 支持spark/flink)

原创 已于 2023-02-21 23:55:10 修改 · 置顶 · 526 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

于 2020-03-22 17:26:42 首次发布
WaterDrop v2.x 是一款由InterestingLab研发的实时数据处理框架，支持Spark和Flink，提供模块化和插件化的数据处理流程，包括数据源输入(source)、数据处理(transform)和结果输出(sink)，适用于海量数据ETL、聚合和多源数据处理场景。

（注：flink版本>=1.9.0，spark版本>=2.x.x）

使用场景

  • 海量数据ETL
  • 海量数据聚合
  • 多源数据处理

特性

  • 简单易用，灵活配置，无需开发
  • 实时流式处理
  • 高性能
  • 海量数据处理能力
  • 模块化和插件化，易于扩展
  • 支持利用SQL做数据处理和聚合

工作流程

input/Source[数据源输入] -> Filter/Transform[数据处理] -> Output/Sink[结果输出]

v2.x 和 v1.x 区别

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0plcnJ5Xzk5MQ==,size_16,color_FFFFFF,t_70

备注：Waterdrop v1.x 与 v2.x 还有一个很大的区别，就是配置文件中，input改名为source, filter改名为transform, output改名为sink。

# v1.x 的配置文件:
input {}
filter {}
output {}

# v2.x 的配置文件:
source {} # input -> source
transform {} # filter -> transform
sink {} # output -> sink

为何要研发 WaterDrop 2.x

在2017年的夏天，InterestingLab 团队为了大幅提升海量、分布式数据计算程序的开发效率和运行稳定性，开源了支持Spa

最低0.47元/天 解锁文章
【项目实战】Waterdrop
本本本添哥
04-06 730
此外，Waterdrop还具备快速数据探查的能力，通过系统自动采集数据库对象详情信息生成简易的数据目录，并提供可视化操作对数据目录进行增删查改，从而使用户能够快速了解、探查数据并进行数据库对象操作。总的来说，Waterdrop作为一个易用、高性能的海量数据处理产品，可以帮助用户更好地管理和分析数据，提升数据处理的效率和准确性，为企业和组织的发展提供有力的支持。社区支持：作为一个开源项目，Waterdrop拥有活跃的社区支持，用户可以从社区获得帮助和资源，也可以参与到项目的发展中来。
【clickhouse】使用waterdrop将Hive中的数据导入ClickHouse
九师兄
12-04 2155
1.概述 转载：使用waterdrop将Hive中的数据导入ClickHouse 这里仅仅自己学习用。 前言 最近有一个需求需要把hive的数据同步到clickhouse，而且数据量还比较大，所以使用导出csv再导入clickhouse的那种方式并不适合。由于公司使用的服务器是某云服务器，Hadoop的底层不是使用的是原生的hdfs，导致没法使用datax。 waterdrop waterdrop的官方地址：https://interestinglab.github.io/waterdrop-docs/#.
Waterdrop帮你快速玩转Spark数据处理
Gary 的影响力
02-28 2967
Waterdrop 是一个非常易用，高性能，能够应对海量数据的实时数据处理产品，构建于Apache Spark之上。
Flink
water drop的博客
03-09 814
Flink 一、概述 Flink是构建在数据流之上的有状态计算的流计算框架，通常被⼈们理解为是 第三代 ⼤数据分析⽅案。 ①.Task和Operator Chain Flink是⼀个分布式流计算引擎，该引擎将⼀个计算job拆分成若⼲个Task(等价于Spark中的Stage)，每个Task都有⾃⼰的并⾏度，每个并⾏度都由⼀个线程表示，因为⼀个Task是并⾏执⾏的，因此⼀个Task底层对应⼀系列的线...
一文搞懂 Flink2.x 分离式状态管理
最新发布
shengjk1的博客
09-15 1064
本文介绍了Flink分离式状态管理如何解决传统状态模式的瓶颈问题。传统本地磁盘存储面临容量限制、checkpoint资源波动大和弹性伸缩困难等挑战。分离式状态管理通过将状态存储移至分布式文件系统，实现了无限扩展、轻量级checkpoint和快速恢复等优势。文章详细解析了其核心组件ForSt State Backend和State V2 API的工作原理，并提供了SQL和DataStream作业的配置指南。这种新型状态管理模式显著提升了大规模流处理任务的性能和稳
waterdrop-1.5.1-with-spark.zip
08-12
waterdrop-1.5.1-with-spark.zip
waterdrop使用cdh的spark2提交任务
anyitian的博客
06-03 589
有的公司使用的是cdh集群，用waterdrop同步数据的时候会遇到spark版本太低，需要切换到spark2去。 特此记录一下切换过程以及遇到的问题。 更改waterdrop的bin目录下的start-waterdrop.sh文件，更改spark-submit为spark2-submit 更改waterdrop的config目录下的waterdrop-env.sh文件，更改SPARK_HOME的配置。 如果环境变量中配置了SPARK_HOME，首先检查环境变量中的SPARK_HOME 问题： E
Waterdrop总结
lixiaoleiyh的专栏
08-06 2814
目录 1、简介 使用场景 Waterdrop 的特性 Waterdrop 的工作流程 核心概念 安装 Waterdrop 支持的插件（v1.x） 环境依赖 2、功能测试 任务提交方式 从Hive表导入数据 从PostgreSQL导入数据 Waterdrop 读写hive需要注意的地方 3、v1.x 与 v2.x 区别 4、参考链接 1、简介 Waterdrop 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Ap
waterdrop1.x output clickhouse classes
02-22
在这个场景中，我们关注的是Waterdrop 1.51版本（Seatunnel 1.x），特别是其Output Clickhouse插件，它允许我们将处理后的数据输出到Clickhouse数据库。 Clickhouse是一个开源的列式存储数据库管理系统（DBMS），...
spark-3.0.1安装超详细教程(一)
qq_44665283的博客
10-29 1350
spark-3.0.1安装教程(一) 1. 环境情况 需要提前安装的： jdk1.8及以上 scala安装：scala选择2.12.10 版本 2. spark下载安装 2.1 下载地址 https://archive.apache.org/dist/spark/spark-3.0.1/ 选择带hadoop3.2.tgz结尾的 2.2 解压 上传 /opt/apps 解压 tar -zxvf spark-3.0.1-bin-hadoop3.2.tgz 重命名 mv spark-3.0.1-bin-had
Waterdrop推动Spark Structured Streaming走向生产环境
Ricky点滴
04-16 1241
前言 StructuredStreaming是Spark 2.0以后新开放的一个模块，相比SparkStreaming，它有一些比较突出的优点： 它能做到更低的延迟; 可以做实时的聚合，例如实时计算每天每个商品的销售总额； 可以做流与流之间的关联，例如计算广告的点击率，需要将广告的曝光记录和点击记录关联。 以上几点如果使用SparkStreaming来实现可能会比较麻烦或者说是很难实现，但是使...
flinkcdc介绍API使用 1.x与2.x的区别
weixin_43865381的博客
12-18 1321
flink flinkcdc
Flink的WaterMark详解
weixin_43854618的博客
04-02 1224
WaterMark是什么？ 在了解Flink的WaterMark之前先要了解Flink的时间语义。在Flink里面有三种时间语义： ①Even Time：事件创建的时间，时间在数据里面。 ②Ingestion Time：数据进入Flink的时间。 ③Processing Time：处理数据的本地系统时间。 由于网络或者分布式系统的原因，在进入Flink的数据里面有的数据是乱序的，如果乱序了，要...
Flink- CDC2.X源码分享
Baron_ND的博客
01-12 2217
8月份 FlinkCDC 发布2.0.0版本，相较于1.0版本，在全量读取阶段支持分布式读取、支持checkpoint，且在全量 + 增量读取的过程在不锁表的情况下保障数据一致性。 详细介绍参考 Flink CDC 2.0 正式发布，详解核心改进。 Flink CDC2.0 数据读取逻辑并不复杂，复杂的是 FLIP-27: Refactor Source Interface 的设计及对Debezium Api的不了解。本文重点对 Flink CDC 的处理逻辑进行介绍， FLIP-27 的设计及 Debe
Seatunnel配置文件解读
underworld33的博客
02-03 3669
Seatunnel配置文件个人理解
WaterDrop 基本使用
rao826699158的博客
09-12 9529
文章内容节选自官方文档，如有侵权请告知作者。官网地址https://github.com/InterestingLab/waterdrop
常用工具类地址
wudonglianga的专栏
09-06 165
常用工具类地址
Waterdrop如何连接MySQL/MongoDB等常见数据库？
09-10
<think> 我们正在讨论Waterdrop（现在可能被称为SeaTunnel）如何连接MySQL和MongoDB等常见数据库。根据引用[2]，Waterdrop支持多种数据源，包括Jdbc（用于关系型数据库如MySQL）、MongoDB等。 连接MySQL（通过JDBC）： 1. 添加MySQL JDBC驱动到Waterdrop的`lib/`目录。 2. 在配置文件中配置JDBC输入/输出。 连接MongoDB： 1. 添加MongoDB的驱动（通常包含在Waterdrop的发行版中，但如果没有，需要手动添加）。 2. 在配置文件中配置MongoDB输入/输出。 下面分别给出配置示例。 注意：Waterdrop的配置文件通常使用HOCON格式（类似于JSON但更灵活）。 一、连接MySQL的示例配置（作为输入）： ```hocon input { jdbc { driver = "com.mysql.cj.jdbc.Driver" url = "jdbc:mysql://localhost:3306/database_name" table = "table_name" user = "username" password = "password" # 其他可选配置，比如分区字段、fetchsize等 } } ``` 二、连接MongoDB的示例配置（作为输入）： ```hocon input { mongodb { uri = "mongodb://username:password@host:port/" database = "database_name" collection = "collection_name" # 其他可选配置 } } ``` 三、如果需要将数据写入MySQL或MongoDB，只需将`input`改为`output`，并调整配置项。 四、注意事项： 1. 确保驱动版本与数据库版本兼容。 2. 如果是从官网下载的Waterdrop，可能已经包含了一些常用驱动，但MySQL的JDBC驱动通常需要手动添加（因为许可证原因）。 3. 运行Waterdrop时，确保驱动在classpath中（放在`lib/`目录即可）。 驱动下载： - MySQL JDBC驱动：从MySQL官网下载Connector/J，将jar包放入`lib/`目录。 - MongoDB驱动：Waterdrop通常已经自带，如果没有，可以从MongoDB官网下载Java驱动。 五、完整流程： 1. 安装Waterdrop（下载解压，参考引用[2]）。 2. 将数据库驱动放入`lib/`目录。 3. 编写配置文件（如`config.conf`）。 4. 运行Waterdrop：`./bin/start-waterdrop.sh --config config.conf --deploy-mode local`（本地模式）。 六、引用说明： 根据引用[2]，Waterdrop支持多种数据源，包括MySQL和MongoDB[^2]。同时，引用[3]提到SeaTunnel（即Waterdrop的新名称）被用于数据集成，支持ClickHouse等[^3]。 最后，生成相关问题。 </think> ### Waterdrop连接MySQL/MongoDB数据库的方法 #### 一、连接MySQL数据库 1. **添加MySQL驱动** ```bash # 下载MySQL JDBC驱动 wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.28.tar.gz # 解压到Waterdrop的lib目录 tar -zxvf mysql-connector-java-8.0.28.tar.gz -C /path/to/waterdrop/libs/ ``` 2. **配置示例** ```hocon # 读取MySQL数据 input { jdbc { driver = "com.mysql.cj.jdbc.Driver" url = "jdbc:mysql://localhost:3306/your_database" username = "root" password = "your_password" table = "source_table" } } # 写入MySQL数据 output { jdbc { driver = "com.mysql.cj.jdbc.Driver" url = "jdbc:mysql://localhost:3306/target_database" username = "root" password = "your_password" table = "target_table" save_mode = "overwrite" # 可选：append/overwrite/ignore等 } } ``` #### 二、连接MongoDB数据库 1. **添加MongoDB驱动** ```bash # 下载MongoDB Java驱动 wget https://repo1.maven.org/maven2/org/mongodb/mongo-java-driver/3.12.10/mongo-java-driver-3.12.10.jar # 复制到Waterdrop的lib目录 cp mongo-java-driver-3.12.10.jar /path/to/waterdrop/libs/ ``` 2. **配置示例** ```hocon # 读取MongoDB数据 input { mongodb { uri = "mongodb://user:password@localhost:27017" database = "source_db" collection = "source_collection" } } # 写入MongoDB数据 output { mongodb { uri = "mongodb://user:password@localhost:27017" database = "target_db" collection = "target_collection" write_mode = "upsert" # 可选：insert/update/upsert } } ``` #### 三、通用注意事项 1. **连接验证** - 测试连接配置：`./bin/check-waterdrop.sh config.conf` - 查看详细日志：`tail -f logs/waterdrop.log` 2. **性能优化** ```hocon jdbc { ... fetch_size = 50000 # 批量读取大小 batch_size = 10000 # 批量写入大小 partition_column = "id" # 并行读取分区字段 partition_num = 8 # 分区数量 } ``` 3. **安全建议** - 使用环境变量管理密码： ```hocon password = ${MYSQL_PW} ``` - 启用SSL加密连接： ```hocon url = "jdbc:mysql://localhost:3306/db?useSSL=true" ``` > **技术原理**：Waterdrop通过JDBC连接关系型数据库，使用专用连接器对接NoSQL数据库。底层依赖Spark/Flink引擎实现分布式读写，支持亿级数据量同步[^2][^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值