canal-admin的高可用使用,单机使用,HA使用,阿里的canal的UI界面,管理canal的实例,以及问题

一、软件下载

1、介绍

  • canal的主要的作用就是通过MySQL的binlog日志文件,同步数据到MQ,MQ包含mysql、kafka、tcp等等
  • canal-admin是一个webUI界面,通过界面配置的方式,管理canal的配置文件,方便易于管理。

2、下载

使用的有点击下载:canal.deployer-1.1.4.tar.gz  和   canal.admin-1.1.4.tar.gz

下载链接:https://github.com/alibaba/canal/releases

 

二、配置canal-admin

官网案列:https://github.com/alibaba/canal/wiki/Canal-Admin-QuickStart

1、修改配置文件

#  在Linux的服务器中
# 直接在服务器中下载,或者是在wind下载之后需要传到服务器上
wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.admin-1.1.4.tar.gz

# 解压
mkdir /tmp/canal-admin
tar zxvf canal.admin-1.1.4.tar.gz  -C /tmp/canal-admin

# 修改配置文件
vi conf/application.yml

# 主要配置
spring.datasource:
  address: 127.0.0.1:3306           #数据库的ip
  username: root                    #数据库的账号
  password: root                    #数据库的密码
canal:
  adminUser: admin                  #canal-admin的账号
  adminPasswd: 123456               #canal-admin的密码(默认是admin,改成6位以上的密码)

2、初始化数据库

# 连接上面配置的mysql数据库
mysql -h 127.1 -u root -p

--  最好在/tem/canal-admin目录下连接数据库
>source conf/canal_manager.sql

3、启动canal-admin

# 在bin目录里面启动:
sh bin/startup.sh

在webUI界面查看: http://127.0.0.1:8089/ 访问,默认密码:admin/123456 

 

三、配置canal-1.1.4

官网案例:https://github.com/alibaba/canal/wiki/Canal-Admin-ServerGuide

1、配置文件

canal-1.1.4的版本较之前的版本基本一样,就是在配置文件上有一点不同,在conf/目录下有两个主要的全局配置文件,一个是:canal.properties这个和之前所有版本的配置一样,还有一个是canal_local.properties这个是指定canal-admin的UI界面的。在此我们主要是使用canal_local.properties这个配置,使得canal运行之后,配置可以在webUI端快速的更改配置。

# canal服务端的ip最好使用主机映射
canal.register.ip = hadoop001

# 这个是webUI的配置
canal.admin.manager = 127.0.0.1:8089             #登录的ip
canal.admin.port = 11110                         #交互的端口
canal.admin.user = admin                         #webUI的账号
canal.admin.passwd = 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9  #webUI密码的暗文
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =                #集群的名字

2、配置密码

上面配置的webUI的密码暗文需要到mysql的数据库查询的,我们配置的密码是123456,所以需要到数据库产生

mysql> select password(123456);
+-------------------------------------------+
| password(123456)                          |
+-------------------------------------------+
| *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
+-------------------------------------------+
1 row in set, 1 warning (0.00 sec)

3、启动

1)要先启动canal-admin

2)在canal-admin的UI界面配置主配置,以及server配置。参考:四、webUI的使用

3)上面步骤配置完成才能启动。在canal的安装目录/bin目录下执行startup.sh 传入参数local

# 启动方法一:
sh bin/startup.sh local


# 启动方法二:
# ---将canal_local.properties配置文件的名字改成canal.properties(删除原有的)
sh bin/startup.sh

4、高可用(服务端高可用)

1)在多台机器上重复以上:1、配置文件;2、配置密码;3启动步骤(与UI界面的server配置要吻合)

2)个人理解集群模式也即高可用模式,一般情况下只用开启一个服务端就可以用了,而集群模式就开了多个服务,每个服务也是相互独立的(只有元数据是一样的在zookeeper保存),当手动的关闭一个服务,不会影响集群以及数据导入的,实例会在其他服务上重新启动。

四、webUI的使用

官网案例:https://github.com/alibaba/canal/wiki/Canal-Admin-Guide

1、主配置

主配置就和之前的版本的配置一样也就是canal目录下的canal.properties文件的配置。其中canal.properties:集群模式不用配置ip

2、server配置

配置基本保持默认就好

3、instance配置

canal的实例配置

instance.properties:配置如之前版本

参考配置:

https://blog.csdn.net/weixin_40126236/article/details/90474784

https://blog.csdn.net/weixin_40126236/article/details/92654961   

五、问题

1、启动顺序问题

首先canal的服务需要去canal-admin上去读取配置文件,所以canal-admin需要先启动,就是要先有UI界面,然后在启动canal服务。注意:canal的服务默认是读取本地的配置,启动时一定要加上loacl这个参数,或者改配置文件的名字。

2、元数据问题

在主配置里面canal.instance.global.spring.xml这个配置如果选择的是:

  • file-instance.xml(一般是单机模式)元数据保存在conf/实例/instance.xml
  • default-instance.xnl (为集群模式) 元数据保存在zookeeper里面/otter/canal/destinations   (需要配置zookeeper地址)

3、zookeeper改变

如果主配置的zookeeper地址改变了,需要修改集群的zookeeper和主配置的canal.zkServers参数,最好同时删除conf目录下的所有实例和zookeeper里面保存的所有实例。最后重启canal-admin,再重启canal服务

有怀疑或不足之处,请留言! 

 

相关推荐
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页