Canal学习笔记&mysql安装

canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。
阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。

工作原理

canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议。
mysql master收到dump请求，开始推送binary log给slave(也就是canal)
canal解析binary log对象(原始为byte流)。
canal是基于mysql的主从模式实现的，所以必须先开启binlog。

开启binlog模式

# mysql 版本8.0.22 对应的dokcer-compose 如下
version: "3.1"
services:
    mysql:
      image: mysql
      container_name: mysql
      #restart: always
      ports:
         - "3306:3306"
      environment:
         TZ: Asia/Shanghai
         MYSQL_ROOT_PASSWORD: 123456
      volumes:
      - ./data:/var/lib/mysql
      - ./config:/etc/mysql
      - ./log:/var/log/mysql
      - ./mysql-files:/var/lib/mysql-files

#当前目录的config目录下,创建文件mysqld.cnf,添加下面的配置。
log-bin=/var/log/mysql
binlog-format=ROW #选择 ROW 模式
server-id=1  #这里的server-id 不能和canal的id重复。

使用root账号创建用户并授予权限。

create user canal@'%' IDENTIFIED by 'canal'; #账号canal 密码canal。% 指可以在任意机器上登录。
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO 'canal'@'%';
#授予cancel 查询、主从复制等权限。
FLUSH PRIVILEGES; #刷新权限

canal容器安装

docker pull canal/canal-server
#docker-compose如下
version: "3.1"
services:
 canal-server:
   image: canal/canal-server
   container_name: canal-server
   ports:
     - "11111:11111"
docker exec -it 容器id /bin/bash
cd canal-server/conf/
vi canal.properties #在最上面 如果有canal.id,就修改一下,不能和mysql的server-id重复,没有就算了。
cd example/
vi instance.properties
修改一下内容
canal.instance.master.address=192.168.186.128:3306
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.filter.regex=.*\\..*  #监听所有库 所有表。
#canal.properties配置文档 https://github.com/alibaba/canal/wiki/AdminGuide

常用binlog日志操作命令

1.查看binlog相关的配置
mysql> show variables like 'log_%';
2.查看所有binlog日志列表
mysql> show master logs;
3.查看master状态，即最后(最新)一个binlog日志的编号名称，及其最后一个操作事件pos结束点(Position)值
mysql> show master status;
4.刷新log日志，自此刻开始产生一个新编号的binlog日志文件
mysql> flush logs;
注:每当mysql服务重启时,会自动执行此命令,刷新binlog日志;在mysqldump备份数据时加 -F 选项也会刷新binlog日志;
5.重置(清空)所有binlog日志
mysql> reset master;

mysql配置文件优化：https://blog.imdst.com/mysql-5-6-pei-zhi-you-hua/
官网canal：https://github.com/alibaba/canal/releases
yum安装mysql

1、wget https://repo.mysql.com//mysql80-community-release-el8-1.noarch.rpm
1.1、yum module disable mysql   yum方式安装mysql8需要先关闭mysql模块
2、rpm -ivh mysql80-community-release-el8-1.noarch.rpm
或者 
yum localinstall mysql80-community-release-el8-1.noarch.rpm

使用 yum-config-manager 命令修改相应的版本为启用状态：
yum-config-manager --enable mysql80-community
yum-config-manager --disable mysql57-community
或者 
cat /etc/yum.repos.d/mysql-community.repo 进行编辑文件。

配置repo文件,一定注意把里面的gpgcheck全部修改为0.否则可能报公钥错误。
vi /etc/yum.repos.d/mysql-community.repo
# Enable to use MySQL 8.0
[mysql80-community]
name=MySQL 8.0 Community Server
baseurl=http://repo.mysql.com/yum/mysql-8.0-community/el/7/$basearch/
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

查看repository
yum repolist enabled | grep mysql

开始安装 yum install mysql-community-server

systemctl start/stop/status mysqld.service 启动/停止/状态

启动后执行: grep "password" /var/log/mysqld.log 查看密码
然后执行:mysql -uroot -p  -------> 再输入密码
修改密码: ALTER USER 'root'@'localhost' IDENTIFIED BY '*****';
alter user 'root'@'localhost' identified with mysql_native_password by '****';

此时一定要修改登录名,否则你会连不上数据库!!!
use mysql;
select host from user where user='root'
update user set host = '%' where user ='root';
flush privileges;

最后:
卸载Yum Repository: yum -y remove mysql80-community-release-el8-1.noarch