Canal 的使用

最新推荐文章于 2023-12-22 23:18:15 发布

南风知易✓✓✓

最新推荐文章于 2023-12-22 23:18:15 发布

阅读量970

点赞数

文章标签： mysql 数据库 database

本文链接：https://blog.csdn.net/tianynnb/article/details/121261519

版权

本文档详细介绍了如何配置MySQL的binlog功能，包括检查、开启和设置相关用户权限。接着，展示了Canal服务的安装步骤，包括下载、解压、修改配置文件以及启动服务。此外，还创建了一个Canal客户端模块，用于接收并处理来自Canal的数据变更，实现了数据的入库操作。最后，提供了Canal客户端的启动类，确保项目启动时能监听到数据库的变化。

摘要由CSDN通过智能技术生成

在这里插入图片描述

1.Canal环境搭建

（1）检查binlog功能是否有开启

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | OFF    |
+---------------+-------+
1 row in set (0.00 sec)

（2）如果显示状态为OFF表示该功能未开启，开启binlog功能

1.修改 mysql 的配置文件 my.cnf
vi /etc/my.cnf 
追加内容：
log-bin=mysql-bin     #binlog文件名
binlog_format=ROW     #选择row模式
server_id=1           #mysql实例id,不能和canal的slaveId重复
2，重启 mysql：
service mysql restart   
3，登录 mysql 客户端，查看 log_bin 变量
mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON|
+---------------+-------+
1 row in set (0.00 sec)
————————————————
如果显示状态为ON表示该功能已开启

（3）在mysql里面添加以下的相关用户和权限

CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';
GRANT SHOW VIEW, SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

2.安装Canal服务

（1）下载之后，放到目录中，解压文件
cd /usr/local/canal

canal.deployer-1.1.4.tar.gz

tar zxvf canal.deployer-1.1.4.tar.gz

（2）修改配置文件
vi conf/example/instance.properties

#需要改成自己的数据库信息
canal.instance.master.address=192.168.44.132:3306
#需要改成自己的数据库用户名与密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
#需要改成同步的数据库表规则，例如只是同步一下表
#canal.instance.filter.regex=.*\\..*
canal.instance.filter.regex=guli_ucenter.ucenter_member

注：
mysql 数据解析关注的表，Perl正则表达式.
多个正则之间以逗号(,)分隔，转义符需要双斜杠(\\) 
常见例子：
1.  所有表：.*   or  .*\\..*
2.  canal schema下所有表： canal\\..*
3.  canal下的以canal打头的表：canal\\.canal.*
4.  canal schema下的一张表：canal.test1
5.  多个规则组合使用：canal\\..*,mysql.test1,mysql.test2 (逗号分隔)
注意：此过滤条件只针对row模式的数据有效(ps. mixed/statement因为不解析sql，所以无法准确提取tableName进行过滤)

（3）进入bin目录下启动
sh bin/startup.sh

3.创建canal_client模块

(1)创建canal_client模块

(2)引入相关依赖

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <!--mysql-->
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
    </dependency>
    <dependency>
        <groupId>commons-dbutils</groupId>
        <artifactId>commons-dbutils</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-jdbc</artifactId>
    </dependency>
    <dependency>
        <groupId>com.alibaba.otter</groupId>
        <artifactId>canal.client</artifactId>
    </dependency>
</dependencies>

(3)创建application.properties配置文件

# 服务端口
server.port=10000
# 服务名
spring.application.name=canal-client
# 环境设置：dev、test、prod
spring.profiles.active=dev
# mysql数据库连接
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/guli?serverTimezone=GMT%2B8
spring.datasource.username=root
spring.datasource.password=root

(4)编写canal客户端类

@Component
public class CanalClient {
    //sql队列
    private Queue<String> SQL_QUEUE = new ConcurrentLinkedQueue<>();
    @Resource
    private DataSource dataSource;
    /**
     * canal入库方法
     */
    public void run() {
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("192.168.44.132",
                11111), "example", "", "");
        int batchSize = 1000;
        try {
            connector.connect();
            connector.subscribe(".*\\..*");
            connector.rollback();
            try {
                while (true) {
                    //尝试从master那边拉去数据batchSize条记录，有多少取多少
                    Message message = connector.getWithoutAck(batchSize);
                    long batchId = message.getId();
                    int size = message.getEntries().size();
                    if (batchId == -1 || size == 0) {
                        Thread.sleep(1000);
                    } else {
                        dataHandle(message.getEntries());
                    }
                    connector.ack(batchId);
                    //当队列里面堆积的sql大于一定数值的时候就模拟执行
                    if (SQL_QUEUE.size() >= 1) {
                        executeQueueSql();
                    }
                }
            } catch (InterruptedException e) {
                e.printStackTrace();
            } catch (InvalidProtocolBufferException e) {
                e.printStackTrace();
            }
        } finally {
            connector.disconnect();
        }
    }
    /**
     * 模拟执行队列里面的sql语句
     */
    public void executeQueueSql() {
        int size = SQL_QUEUE.size();
        for (int i = 0; i < size; i++) {
            String sql = SQL_QUEUE.poll();
            System.out.println("[sql]----> " + sql);
            this.execute(sql.toString());
        }
    }
    /**
     * 数据处理
     *
     * @param entrys
     */

    private void dataHandle(List<Entry> entrys) throws InvalidProtocolBufferException {

        for (Entry entry : entrys) {

            if (EntryType.ROWDATA == entry.getEntryType()) {

                RowChange rowChange = RowChange.parseFrom(entry.getStoreValue());

                EventType eventType = rowChange.getEventType();

                if (eventType == EventType.DELETE) {

                    saveDeleteSql(entry);

                } else if (eventType == EventType.UPDATE) {

                    saveUpdateSql(entry);

                } else if (eventType == EventType.INSERT) {

                    saveInsertSql(entry);

                }

            }

        }
    }


    /**

     * 保存更新语句

     *

     * @param entry

     */

    private void saveUpdateSql(Entry entry) {

        try {

            RowChange rowChange = RowChange.parseFrom(entry.getStoreValue());

            List<RowData> rowDatasList = rowChange.getRowDatasList();

            for (RowData rowData : rowDatasList) {

                List<Column> newColumnList = rowData.getAfterColumnsList();

                StringBuffer sql = new StringBuffer("update " + entry.getHeader().getTableName() + " set ");

                for (int i = 0; i < newColumnList.size(); i++) {

                    sql.append(" " + newColumnList.get(i).getName()

                            + " = '" + newColumnList.get(i).getValue() + "'");

                    if (i != newColumnList.size() - 1) {

                        sql.append(",");

                    }

                }

                sql.append(" where ");

                List<Column> oldColumnList = rowData.getBeforeColumnsList();

                for (Column column : oldColumnList) {

                    if (column.getIsKey()) {

                        //暂时只支持单一主键

                        sql.append(column.getName() + "=" + column.getValue());

                        break;

                    }

                }

                SQL_QUEUE.add(sql.toString());

            }

        } catch (InvalidProtocolBufferException e) {

            e.printStackTrace();

        }

    }


    /**

     * 保存删除语句

     *

     * @param entry

     */

    private void saveDeleteSql(Entry entry) {

        try {

            RowChange rowChange = RowChange.parseFrom(entry.getStoreValue());

            List<RowData> rowDatasList = rowChange.getRowDatasList();

            for (RowData rowData : rowDatasList) {

                List<Column> columnList = rowData.getBeforeColumnsList();

                StringBuffer sql = new StringBuffer("delete from " + entry.getHeader().getTableName() + " where ");

                for (Column column : columnList) {

                    if (column.getIsKey()) {

                        //暂时只支持单一主键

                        sql.append(column.getName() + "=" + column.getValue());

                        break;

                    }

                }

                SQL_QUEUE.add(sql.toString());

            }

        } catch (InvalidProtocolBufferException e) {

            e.printStackTrace();
        }

    }


    /**

     * 保存插入语句

     *
     * @param entry

     */

    private void saveInsertSql(Entry entry) {

        try {

            RowChange rowChange = RowChange.parseFrom(entry.getStoreValue());

            List<RowData> rowDatasList = rowChange.getRowDatasList();

            for (RowData rowData : rowDatasList) {

                List<Column> columnList = rowData.getAfterColumnsList();

                StringBuffer sql = new StringBuffer("insert into " + entry.getHeader().getTableName() + " (");

                for (int i = 0; i < columnList.size(); i++) {

                    sql.append(columnList.get(i).getName());

                    if (i != columnList.size() - 1) {

                        sql.append(",");

                    }

                }

                sql.append(") VALUES (");

                for (int i = 0; i < columnList.size(); i++) {

                    sql.append("'" + columnList.get(i).getValue() + "'");
                    if (i != columnList.size() - 1) {

                        sql.append(",");

                    }

                }

                sql.append(")");
                SQL_QUEUE.add(sql.toString());
            }

        } catch (InvalidProtocolBufferException e) {

            e.printStackTrace();

        }

    }


    /**

     * 入库

     * @param sql

     */

    public void execute(String sql) {

        Connection con = null;

        try {

            if(null == sql) return;

            con = dataSource.getConnection();

            QueryRunner qr = new QueryRunner();

            int row = qr.execute(con, sql);

            System.out.println("update: "+ row);
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            DbUtils.closeQuietly(con);
        }
    }
}

5.创建启动类

@SpringBootApplication
public class CanalApplication implements CommandLineRunner {

    @Resource
    private CanalClient canalClient;
    public static void main(String[] args) {
        SpringApplication.run(CanalApplication.class, args);
    }
    @Override
    public void run(String... strings) throws Exception {
        //项目启动，执行canal客户端监听
       canalClient.run();
    }
}

南风知易✓✓✓

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Canal 的使用

1.Canal环境搭建（1）检查binlog功能是否有开启mysql> show variables like 'log_bin';+---------------+-------+| Variable_name | Value |+---------------+-------+| log_bin | OFF |+---------------+-------+1 row in set (0.00 sec)（2）如果显示状态为OFF表示该功能未开启，开启bin.
复制链接

扫一扫