基于Canal与Flink实现数据实时增量同步(一)

最新推荐文章于 2024-04-22 21:08:55 发布

2401_83330193

最新推荐文章于 2024-04-22 21:08:55 发布

阅读量609

点赞数 11

分类专栏：程序员文章标签： flink 大数据

本文链接：https://blog.csdn.net/2401_83330193/article/details/138005677

版权

程序员专栏收录该内容

517 篇文章 0 订阅

订阅专栏

CREATE USER canal IDENTIFIED BY ‘canal’;

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO ‘canal’@‘%’;

– GRANT ALL PRIVILEGES ON . TO ‘canal’@‘%’ ;

FLUSH PRIVILEGES;

部署canal

安装canal

下载：https://github.com/alibaba/canal/releases
解压缩

[kms@kms-1 softwares]$ tar -xzvf canal.deployer-1.1.4.tar.gz -C /opt/modules/canal/

drwxr-xr-x 2 root root 4096 Mar 5 14:19 bin

drwxr-xr-x 5 root root 4096 Mar 5 13:54 conf

drwxr-xr-x 2 root root 4096 Mar 5 13:04 lib

drwxrwxrwx 4 root root 4096 Mar 5 14:19 logs

配置修改

修改conf/example/instance.properties，修改内容如下：

mysql serverId

canal.instance.mysql.slaveId = 1234

#position info，需要改成自己的数据库信息

canal.instance.master.address = kms-1.apache.com:3306

#username/password，需要改成自己的数据库信息

canal.instance.dbUsername = canal

canal.instance.dbPassword = canal

mq config，kafka topic名称

canal.mq.topic=test

修改conf/canal.properties，修改内容如下：

配置zookeeper地址

canal.zkServers =kms-2:2181,kms-3:2181,kms-4:2181

可选项: tcp(默认), kafka, RocketMQ，

canal.serverMode = kafka

配置kafka地址

canal.mq.servers = kms-2:9092,kms-3:9092,kms-4:9092

启动canal

sh bin/startup.sh

关闭canal

sh bin/stop.sh

部署Canal Admin(可选)

canal-admin设计上是为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。

要求

canal-admin的限定依赖：

MySQL，用于存储配置和节点等相关数据
canal版本，要求>=1.1.4 (需要依赖canal-server提供面向admin的动态运维管理接口)

安装canal-admin

下载

https://github.com/alibaba/canal/releases

解压缩

[kms@kms-1 softwares]$ tar -xzvf canal.admin-1.1.4.tar.gz -C /opt/modules/canal-admin/

drwxrwxr-x 2 kms kms 4096 Mar 6 11:25 bin

drwxrwxr-x 3 kms kms 4096 Mar 6 11:25 conf

drwxrwxr-x 2 kms kms 4096 Mar 6 11:25 lib

drwxrwxr-x 2 kms kms 4096 Sep 2 2019 logs

配置修改

vi conf/application.yml

server:

port: 8089

spring:

jackson:

date-format: yyyy-MM-dd HH:mm:ss

time-zone: GMT+8

spring.datasource:

address: kms-1:3306

database: canal_manager

username: canal

password: canal

driver-class-name: com.mysql.jdbc.Driver

url: jdbc:mysql:// ${spring.datasource.address}/$ {spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false

hikari:

maximum-pool-size: 30

minimum-idle: 1

canal:

adminUser: admin

adminPasswd: admin

初始化原数据库

mysql -uroot -p

导入初始化SQL

#注：(1)初始化SQL脚本里会默认创建canal_manager的数据库，建议使用root等有超级权限的账号进行初始化

(2)canal_manager.sql默认会在conf目录下

mysql> source /opt/modules/canal-admin/conf/canal_manager.sql

启动canal-admin

sh bin/startup.sh

访问

可以通过 http://kms-1:8089/ 访问，默认密码：admin/123456

canal-server端配置

使用canal_local.properties的配置覆盖canal.properties,将下面配置内容配置在canal_local.properties文件里面，就可以了。

register ip

canal.register.ip =

canal admin config

canal.admin.manager = 127.0.0.1:8089

canal.admin.port = 11110

canal.admin.user = admin

canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441

admin auto register

canal.admin.register.auto = true

canal.admin.register.cluster =

启动canal-serve

sh bin/startup.sh local

注意：先启canal-server,然后再启动canal-admin，之后登陆canal-admin就可以添加serve和instance了。

启动kafka控制台消费者测试

bin/kafka-console-consumer.sh --bootstrap-server kms-2:9092,kms-3:9092,kms-4:9092 --topic test --from-beginning

此时MySQL数据表若有变化，会将row类型的log写进Kakfa，具体格式为JSON：

insert操作

{

“data”:[

{

“id”:“338”,

“city”:“成都”,

“province”:“四川省”

}

“database”:“qfbap_ods”,

“es”:1583394964000,

“id”:2,

“isDdl”:false,

“mysqlType”:{

“id”:“int(11)”,

“city”:“varchar(256)”,

“province”:“varchar(256)”

“old”:null,

“pkNames”:[

“id”

“sql”:“”,

“sqlType”:{

“id”:4,

“city”:12,

“province”:12

“table”:“code_city”,

“ts”:1583394964361,

“type”:“INSERT”

}

update操作

{

“data”:[

{

“id”:“338”,

“city”:“绵阳市”,

“province”:“四川省”

}

“database”:“qfbap_ods”,

“es”:1583395177000,

“id”:3,

“isDdl”:false,

“mysqlType”:{

“id”:“int(11)”,

“city”:“varchar(256)”,

“province”:“varchar(256)”

“old”:[

{

“city”:“成都”
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

首先分享一份学习大纲，内容较多，涵盖了互联网行业所有的流行以及核心技术，以截图形式分享：

（亿级流量性能调优实战+一线大厂分布式实战+架构师筑基必备技能+设计思想开源框架解读+性能直线提升架构技术+高效存储让项目性能起飞+分布式扩展到微服务架构…实在是太多了）

其次分享一些技术知识，以截图形式分享一部分：

Tomcat架构解析：

算法训练+高分宝典：

Spring Cloud+Docker微服务实战：

最后分享一波面试资料：

切莫死记硬背，小心面试官直接让你出门右拐

1000道互联网Java面试题：

Java高级架构面试知识整理：

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
构师筑基必备技能+设计思想开源框架解读+性能直线提升架构技术+高效存储让项目性能起飞+分布式扩展到微服务架构…实在是太多了）