flinkCDC+iceberg(hadoop catalog) 同步mysql数据库数据
flink可以实现hadoop catalog 和hive catalog 。
前者映射hdfs地址,实现数据存储
后者映射hive表地址,用于有关hive的数据处理及其他项目实操。
1. 环境准备
官网:https://iceberg.apache.org/
1. hadoop 一定要分布式集群
2.需要flink-connector-mysql-cdc-1.4.0.jar 即mysql-cdc连接器放到flink 的 lib下,为了连接数据库
3. 需要将iceberg 0.13.1的j.
原创
2022-04-18 11:42:49 ·
4058 阅读 ·
3 评论