如何实时同步数据到StarRocks

tenmg

已于 2022-02-10 10:50:55 修改

阅读量4.1k

点赞数 2

文章标签： java sql flink 流处理大数据

于 2021-11-22 11:49:15 首次发布

本文链接：https://blog.csdn.net/csdn779343484/article/details/121403521

版权

我们知道，是StarRocks基于Doris开发的，它在多表连接查询的性能方面引领OLAP市场，是一个很好用的结构化数据仓库。但是一直没有很好的工具能够实现业务数据库的数据实时同步到StarRocks分布式数据仓库集群中，本文将带领读者一起来通过flink-jobs的最佳实践来构建一个易于使用和运维的，异构数据库实时同步到StarRocks集群的方案。

阅读前提

阅读本文除了需具备StarRocks相关知识之外，还会涉及Flink、Debezium、Kafka、Zookeeper、MySQL（或者PostgreSQL、Oracle、SQL Server、Db2等其中一种），最好能够自己搭建整套环境，如果不能，身边有可以利用的环境或者有朋友能帮上忙也可以。

环境准备

在192.168.100.1-3上安装zookeeper，在192.168.100.4-6上安装基于zookeeper的Flink高可用集群，具体安装配置方法请查阅Flink官网。
在192.168.100.7-9上安装基于zookeeper的kafka集群，并配置好Debezium（也可以是Canal、Maxwell等Flink支持的其他组件），安装方法详见各自官网。
在192.168.100.10上安装一个MySQL数据库，也可以安装