FLink-CDC部署（S1:Doris部署）

已于 2024-03-26 16:05:29 修改
阅读量620 收藏 6
点赞数 24
分类专栏： 大数据 文章标签： flink 大数据
于 2024-03-26 15:56:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wengad/article/details/137048542
版权

FLINK-CDC部署

写在前面：

这里使用flink-cdc 3.0.1+flink 1.8.1+doris 2.1.0+mysql来实现，从mysql同步到doris。flink不要使用1.9.X，因为1.8.x的配置和1.9.x的配置不一样，导致flink-cdc无法兼容

步骤

安装doris，在doris中创建数据库

配置mysql复制

下载flink1.8.x（注意不要使用1.9.x的版本，这样会和CDC不兼容，因为1.9的配置和1.8的配置有差别）

下载flink-cdc 3.0.1 ，mysql和doris的connect，启动任务

doris架构中分成FE和BE两个服务

配置FE
cd apache-doris-x.x.x/fe
配置conf/fe.conf
修改priority_networks和meta_dir两个参数，
priority_networks=172.23.16.0/24
meta_dir=/path/your/doris-meta

启动FE

./bin/start_fe.sh --daemon

测试FE状态
curl http://127.0.0.1:8030/api/bootstrap

最低0.47元/天 解锁文章
wengad
关注
  • 24
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
人大金仓 KFS SQLServer源端安装部署—CDC环境配置
weixin_44312518的博客
08-02 386
KFS支持在CentOS 6.X、CentOS 7.X、Kylin 4.0、普华5.0、UOS 20、凝思6.0、湖南麒麟3.x、专用机海光CPU +中科方德OS。已经执行setupCDC.sh后，数据库中新增了相关表，此时可以更新flysync.tables中的配置，然后执行update.sh。服务名称，由用户自行指定（注意：需要和和后面同步工具部署时的服务名称保持一致）服务器，机器名需要和SQLServer数据库的服务名相同。SQLServer CDC功能，只针对有主键的表，如果。
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器 Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 ...
Doris实战——结合Flink构建极速易用的实时数仓
爱吃辣条的博客
02-25 3252
Doris实战——结合Flink构建极速易用的实时数仓
Flinkx/Datax/Flink-CDC 优劣势对比
justlpf的专栏
04-20 2961
FlinkX是一款基于Flink的分布式离线/实时数据同步插件，可实现多种异构数据源高效的数据同步，其由袋鼠云于2016年初步研发完成，目前有稳定的研发团队持续维护，已在Github上开源（开源地址详见文章末尾），并维护该开源社区。目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等。
大数据最全Doris实战——结合Flink构建极速易用的实时数仓_flink doris，2024年是做大数据开发开发人员的绝佳时机
2401_84591685的博客
05-15 434
从技术架构的角度对传统数据技术栈进行分析，会发现为了迎合不同场景的需求，往往会采用多种技术栈，例如对于 OLAP 场景的多维分析，一般使⽤ Doris 或 Kylin、 Druid。除此之外，为应对半结构化数据的分析需求，例如日志分析与检索场景，通常会使⽤ ES 进行分析；面对高并发点查询的 Data Serving 场景会使⽤ HBase等。其中涉及到的数据组件有数十种，高昂的使用成本和组件间兼容、维护及扩展带来的繁重压力成为企业必须要面临的问题。
Apache Flink X Apache Doris构建极速易用的实时数仓架构
wangleigiser的博客
02-14 4058
Doris针对不同的应用场景提供了不同的数据模型，分别为：明细模型，主键模型和聚合模型。明细模型：明细数据存储（日志分析、行为分析）主键模型：相同key的数据覆盖更新（订单状态、用户状态）聚合模型：相同key列value列合并（报表统计、指标计算）
大数据ETL工具对比——SeaTunnel、DataX、Sqoop、Flume、Flink CDC、Dlinky、TIS、Chunjun等对比
最新发布
u011047968的专栏
05-16 2198
Apache SeaTunnel作为下一代数据集成平台。同时也是数据集成一站式的解决方案，有下面这么几个特点。丰富且可扩展的Connector：SeaTunnel提供了不依赖于特定执行引擎的Connector API。基于该API开发的Connector（Source、Transform、Sink）可以运行在很多不同的引擎上，例如目前支持的SeaTunnel Engine、Flink、Spark等。
FlinkCDC部署
ArYe
12-10 2669
FLINK-CDC FlinkCDC
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 ...
postgres-cdc-flink:使用Debezium流式传输PostgreSQL CDC，并使用Flink使用状态流进行充实
04-10
使用Flink丰富Kafka流与另一个流环境设定安装PostgreSQL 11+ 设置PostgreSQL以允许使用pgoutput将Debezium转换为CDC。 参考在您的机器/集群上设置Apache Kafka（使用Kafka Connect） 从安装Debezium PostgreSQL连接...
doris-flink-connector
03-25
<flink.version>1.13.5</flink.version> <libthrift.version>0.13.0 <arrow.version>5.0.0 <maven-compiler-plugin.version>3.8.1</maven-compiler-plugin.version> <maven-javadoc-plugin.version>3.3.0...
flink-1.13.6_cdc
07-07
描述提到的是"flink-1.13.6_cdc部署资源包"，这意味着这个压缩包包含了部署Flink CDC环境所需的全部组件和配置。这通常包括Flink运行时、相关的连接器和可能的配置文件。 标签"flink flink-cdc"进一步确认了这个...
CDC系列（一）、Canal 集群部署及使用（带WebUI）
王义凯 的博客
09-22 8126
CDC（Change Data Capture）是一种捕获数据修改的技术方案，常常应用于异构数据源之间的数据同步。通常有两种解决方案：批式定时根据查询条件采集变更数据、监控数据源的操作日志。对于第一种批式的方案好处是门槛低成本低但坏处是可能会造成数据丢失以及数据有延迟等等，第二种日志方案好处很明显，比如对数据源侵入性低，数据时效性更高，不会有数据丢失的风险等等。在目前的关系型数据库中如MySQL、Oracle、SQLServer、Postgre等都提供了用于同步的日志解决方案，如MySQL基于binlog在
Doris实战——美联物业数仓
爱吃辣条的博客
02-27 1404
Doris实战——美联物业数仓
Doris-05-集成Spark、Flink、Datax，以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)
迷雾总会解
06-23 2052
准备表和数据： Spark 读写 Doris Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据，也支持通过Spark写入数据到Doris。代码库地址：https://github.com/apache/incubator-doris-spark-connector创建 maven 工程，编写 pom.xml 文件： 使用 Spark Doris Connector Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存
FlinkCDC同步ORACLE至Apache Doris
qq_30198507的博客
01-03 1919
Apache Doris（以前称为Palo）是一个开源的大数据分析数据库项目，是由百度公司发起的一个分布式 SQL 数据仓库。它的设计目标是支持低延迟、高吞吐量的交互式 SQL 查询，可以用于实时报表、在线分析处理等场景。Apache Doris 提供了分布式的、可伸缩的架构，支持高并发的大规模数据查询和分析。它提供了高可靠性、容错性和高性能的特性，支持实时数据加载、提交、分析和查询。进一步地，Apache Doris 支持各种数据格式和数据源，包括结构化数据、半结构化数据和非结构化数据等。
DataX和FlinkX的安装及使用
落幕7的博客
10-22 954
文章目录DataX的安装DataX的使用stream2stream编写配置文件stream2stream.json执行同步任务执行结果mysql2mysql编写配置文件mysql2mysql.json执行同步任务mysql2hdfs编写配置文件mysql2hdfs.jsonhbase2mysqlmysql2hbasemysql2Phoenix在Phoenix中创建STUDENT表编写配置文件MySQLToPhoenix.jsonHDFSToHBaseFlinkX的安装与简单使用FlinkX的安装FlinkX
一键实现 Oracle 数据整库同步至 Apache Doris
SelectDB
08-23 2129
极大降低数据同步门槛，使数据同步变得更加简单高效
[基础架构] [Flink] Flink/Flink-CDC的部署和配置
OxYGC
07-05 8191
Flink 以及 Flink -CDC 部署与配置
flink-cdc-doris jar下载
01-18
要下载flink-cdc-doris jar，您可以按照以下步骤进行操作： 首先，您需要打开Flink的官方网站（https://flink.apache.org/）并导航到Flink的下载页面。 在Flink的下载页面上，您将找到一系列可用的Flink版本。找到与您当前使用的Flink版本兼容的版本。 一旦您选择了正确的Flink版本，您需要找到与Flink CDC Doris集成的jar文件。您可以使用浏览器的查找功能或直接搜索“Flink CDC Doris jar”以快速定位该文件。 一旦您找到了该文件，点击下载按钮将开始下载该jar文件。请根据您的网络速度耐心等待下载完成。 下载完成后，请确认jar文件是否位于您计算机的指定位置。您可以使用文件管理器或命令行工具进行确认。 最后，您已经成功下载了flink-cdc-doris jar文件。您可以将该文件用于您的Flink项目中，以实现与Doris数据库的CDC（变更数据捕获）集成。 请注意，以上步骤仅适用于一般的jar文件下载。如果您有特定的网站或资源需要用于下载flink-cdc-doris jar文件，请参考该资源的具体指导。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wengad

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值