Apache Doris Flink Connector 使用教程

最新推荐文章于 2024-09-03 07:05:18 发布

俞淑瑜Sally

最新推荐文章于 2024-09-03 07:05:18 发布

阅读量325

点赞数 4

本文链接：https://blog.csdn.net/gitblog_00130/article/details/141835734

版权

Apache Doris Flink Connector 使用教程

doris-flink-connectorConnector: Apache Doris Flink Connector 是一个用于 Apache Doris 的 Flink 连接器项目。Doris 是一个分布式列式存储系统。这个项目提供了一个用于 Apache Doris 的 Flink 连接器，用于在 Flink 应用程序中处理 Doris 数据。项目地址:https://gitcode.com/gh_mirrors/dor/doris-flink-connector

1. 项目介绍

Apache Doris Flink Connector 是一个用于将 Apache Flink 与 Apache Doris 集成的开源项目。它允许用户通过 Flink 作业直接读取和写入 Doris 数据库，从而实现高效的数据处理和分析。该连接器支持 Flink 版本从 1.11 到 1.20，提供了丰富的配置选项和灵活的使用方式。

2. 项目快速启动

环境准备

确保已安装 Apache Flink 和 Apache Doris。

克隆项目仓库：

git clone https://github.com/apache/doris-flink-connector.git
cd doris-flink-connector

编译项目

复制配置模板并进行配置：

cp customer_env.sh.tpl customer_env.sh
vi customer_env.sh

编译项目：
```
./build.sh
```

运行示例

以下是一个简单的 Flink 作业示例，用于将数据从 Oracle 数据库同步到 Doris：

<FLINK_HOME>/bin/flink run \
  -Dexecution.checkpointing.interval=10s \
  -Dparallelism.default=1 \
  -c org.apache.doris.flink.tools.cdc.CdcTools \
  /lib/flink-doris-connector-1.16-1.5.0-SNAPSHOT.jar \
  oracle-sync-database \
  --database test_db \
  --oracle-conf hostname=127.0.0.1 \
  --oracle-conf port=1521 \
  --oracle-conf username=admin \
  --oracle-conf password="password" \
  --oracle-conf database-name=XE \
  --oracle-conf schema-name=ADMIN \
  --including-tables "tbl1|tbl2" \
  --sink-conf fenodes=127.0.0.1:8030 \
  --sink-conf username=root \
  --sink-conf password= \
  --sink-conf jdbc-url=jdbc:mysql://127.0.0.1:9030 \
  --sink-conf sink.label-prefix=label \
  --table-conf replication_num=1