vi conf/application.yml
server:
port: 8089
spring:
jackson:
date-format: yyyy-MM-dd HH:mm:ss
time-zone: GMT+8
spring.datasource:
address: kms-1:3306
database: canal_manager
username: canal
password: canal
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql:// s p r i n g . d a t a s o u r c e . a d d r e s s / {spring.datasource.address}/ spring.datasource.address/{spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
hikari:
maximum-pool-size: 30
minimum-idle: 1
canal:
adminUser: admin
adminPasswd: admin
- 初始化原数据库
mysql -uroot -p
导入初始化SQL
#注:(1)初始化SQL脚本里会默认创建canal_manager的数据库,建议使用root等有超级权限的账号进行初始化
(2)canal_manager.sql默认会在conf目录下
mysql> source /opt/modules/canal-admin/conf/canal_manager.sql
- 启动canal-admin
sh bin/startup.sh
- 访问
可以通过 http://kms-1:8089/ 访问,默认密码:admin/123456
- canal-server端配置
使用canal_local.properties的配置覆盖canal.properties,将下面配置内容配置在canal_local.properties文件里面,就可以了。
register ip
canal.register.ip =
canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =
- 启动canal-serve
sh bin/startup.sh local
注意:先启canal-server,然后再启动canal-admin,之后登陆canal-admin就可以添加serve和instance了。
启动kafka控制台消费者测试
bin/kafka-console-consumer.sh --bootstrap-server kms-2:9092,kms-3:9092,kms-4:9092 --topic test --from-beginning
此时MySQL数据表若有变化,会将row类型的log写进Kakfa,具体格式为JSON:
- insert操作
{
“data”:[
{
“id”:“338”,
“city”:“成都”,
“province”:“四川省”
}
],
“database”:“qfbap_ods”,
“es”:1583394964000,
“id”:2,
“isDdl”:false,
“mysqlType”:{
“id”:“int(11)”,
“city”:“varchar(256)”,
“province”:“varchar(256)”
},
“old”:null,
“pkNames”:[
“id”
],
“sql”:“”,
“sqlType”:{
“id”:4,
“city”:12,
“province”:12
},
“table”:“code_city”,
“ts”:1583394964361,
“type”:“INSERT”
}
- update操作
{
“data”:[
{
“id”:“338”,
“city”:“绵阳市”,
“province”:“四川省”
}
],
“database”:“qfbap_ods”,
“es”:1583395177000,
“id”:3,
“isDdl”:false,
“mysqlType”:{
“id”:“int(11)”,
“city”:“varchar(256)”,
“province”:“varchar(256)”
},
“old”:[
{
“city”:“成都”
}
],
“pkNames”:[
“id”
],
“sql”:“”,
“sqlType”:{
“id”:4,
“city”:12,
“province”:12
},
“table”:“code_city”,
“ts”:1583395177408,
“type”:“UPDATE”
}
- delete操作
{
“data”:[
{
“id”:“338”,
“city”:“绵阳市”,
“province”:“四川省”
}
],
“database”:“qfbap_ods”,
“es”:1583395333000,
“id”:4,
“isDdl”:false,
“mysqlType”:{
“id”:“int(11)”,
“city”:“varchar(256)”,
“province”:“varchar(256)”
},
“old”:null,
“pkNames”:[
“id”
],
“sql”:“”,
“sqlType”:{
“id”:4,
“city”:12,
“province”:12
},
“table”:“code_city”,
“ts”:1583395333208,
“type”:“DELETE”
}
JSON日志格式解释
-
data:最新的数据,为JSON数组,如果是插入则表示最新插入的数据,如果是更新,则表示更新后的最新数据,如果是删除,则表示被删除的数据
-
database:数据库名称
-
es:事件时间,13位的时间戳
-
id:事件操作的序列号,1,2,3…
-
isDdl:是否是DDL操作
-
mysqlType:字段类型
-
old:旧数据
-
pkNames:主键名称
-
sql:SQL语句
-
sqlType:是经过canal转换处理的,比如unsigned int会被转化为Long,unsigned long会被转换为BigDecimal
-
table:表名
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)
最后
分享一套我整理的面试干货,这份文档结合了我多年的面试官经验,站在面试官的角度来告诉你,面试官提的那些问题他最想听到你给他的回答是什么,分享出来帮助那些对前途感到迷茫的朋友。
面试经验技巧篇
- 经验技巧1 如何巧妙地回答面试官的问题
- 经验技巧2 如何回答技术性的问题
- 经验技巧3 如何回答非技术性问题
- 经验技巧4 如何回答快速估算类问题
- 经验技巧5 如何回答算法设计问题
- 经验技巧6 如何回答系统设计题
- 经验技巧7 如何解决求职中的时间冲突问题
- 经验技巧8 如果面试问题曾经遇见过,是否要告知面试官
- 经验技巧9 在被企业拒绝后是否可以再申请
- 经验技巧10 如何应对自己不会回答的问题
- 经验技巧11 如何应对面试官的“激将法”语言
- 经验技巧12 如何处理与面试官持不同观点这个问题
- 经验技巧13 什么是职场暗语
面试真题篇
- 真题详解1 某知名互联网下载服务提供商软件工程师笔试题
- 真题详解2 某知名社交平台软件工程师笔试题
- 真题详解3 某知名安全软件服务提供商软件工程师笔试题
- 真题详解4 某知名互联网金融企业软件工程师笔试题
- 真题详解5 某知名搜索引擎提供商软件工程师笔试题
- 真题详解6 某初创公司软件工程师笔试题
- 真题详解7 某知名游戏软件开发公司软件工程师笔试题
- 真题详解8 某知名电子商务公司软件工程师笔试题
- 真题详解9 某顶级生活消费类网站软件工程师笔试题
- 真题详解10 某知名门户网站软件工程师笔试题
- 真题详解11 某知名互联网金融企业软件工程师笔试题
- 真题详解12 国内某知名网络设备提供商软件工程师笔试题
- 真题详解13 国内某顶级手机制造商软件工程师笔试题
- 真题详解14 某顶级大数据综合服务提供商软件工程师笔试题
- 真题详解15 某著名社交类上市公司软件工程师笔试题
- 真题详解16 某知名互联网公司软件工程师笔试题
- 真题详解17 某知名网络安全公司校园招聘技术类笔试题
- 真题详解18 某知名互联网游戏公司校园招聘运维开发岗笔试题
资料整理不易,点个关注再走吧
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》,点击传送门即可获取!
题
- 真题详解6 某初创公司软件工程师笔试题
- 真题详解7 某知名游戏软件开发公司软件工程师笔试题
- 真题详解8 某知名电子商务公司软件工程师笔试题
- 真题详解9 某顶级生活消费类网站软件工程师笔试题
- 真题详解10 某知名门户网站软件工程师笔试题
- 真题详解11 某知名互联网金融企业软件工程师笔试题
- 真题详解12 国内某知名网络设备提供商软件工程师笔试题
- 真题详解13 国内某顶级手机制造商软件工程师笔试题
- 真题详解14 某顶级大数据综合服务提供商软件工程师笔试题
- 真题详解15 某著名社交类上市公司软件工程师笔试题
- 真题详解16 某知名互联网公司软件工程师笔试题
- 真题详解17 某知名网络安全公司校园招聘技术类笔试题
- 真题详解18 某知名互联网游戏公司校园招聘运维开发岗笔试题
[外链图片转存中…(img-SMAMbiDo-1712418305578)]
资料整理不易,点个关注再走吧
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》,点击传送门即可获取!