canal实操(一)监控mysql的数据打印到控制台

前言:
本实操参考: 超详细的Canal入门,看这篇就够了!

生产环境操作:Canal+Kafka实现mysql与redis数据准实时同步!

一、简易版本的canal控制台输出增量的日志

1、准备一个mysql表,mysql压缩包解压的安装教程
在这里插入图片描述
2、插入一条数据
在这里插入图片描述
3、对应canal启动的客户端会把插入的log日志信息打印出来。
在这里插入图片描述
以上需要本地开启canal 启动命令

  1. startup.bat
    在这里插入图片描述
  2. mysql服务启动
  3. 准备好更新/插入的数据
INSERT INTO runoob_tbl VALUES('2','肉包','小米','20210503');

一旦上面1,2启动,mysql的什么操作就可以被监听到,就算是更新表名
在这里插入图片描述
这个操作是我在插入数据之前,在navicat里面直接对表名进行了修改,这个也被canal监听到了!!!!

二、canal的项目创建(只是输出到控制台)

1、新建一个springboot项目

参考:使用IDEA创建一个springboot项目

注意:
启动cannal亲测有效 ,但是client的代码换成了下面的
参考超详细的Canal入门,看这篇就够了!

package com.example.canal;

import java.net.InetSocketAddress;
import java.util.List;

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;
import com.alibaba.otter.canal.protocol.Message;

public class CanalClient {

    public static void main(String args[]) {
        // 创建链接
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1", 11111),
                "example", "", "");
        int batchSize = 1000;
        int emptyCount = 0;
        try {
            connector.connect();
            connector.subscribe(".*\\..*");
            connector.rollback();
            int totalEmtryCount = 1200;
            while (emptyCount < totalEmtryCount) {
                Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
                long batchId = message.getId();
                int size = message.getEntries().size();
                if (batchId == -1 || size == 0) {
                    emptyCount++;
//                    System.out.println("empty count : " + emptyCount);
                    try {
                        Thread.sleep(1000);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                } else {
                    emptyCount = 0;
                    // System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);
                    printEntry(message.getEntries());
                }

                connector.ack(batchId); // 提交确认
                // connector.rollback(batchId); // 处理失败, 回滚数据
            }

            System.out.println("empty too many times, exit");
        } finally {
            connector.disconnect();
        }
    }

    private static void printEntry(List<Entry> entrys) {
        for (Entry entry : entrys) {
            if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN
                    || entry.getEntryType() == EntryType.TRANSACTIONEND) {
                continue;
            }

            RowChange rowChage = null;
            try {
                rowChage = RowChange.parseFrom(entry.getStoreValue());
            } catch (Exception e) {
                throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),
                        e);
            }

            EventType eventType = rowChage.getEventType();
            System.out.println(String.format("================> binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(), entry.getHeader().getTableName(), eventType));

            for (RowData rowData : rowChage.getRowDatasList()) {
                if (eventType == EventType.DELETE) {
                    printColumn(rowData.getBeforeColumnsList());
                } else if (eventType == EventType.INSERT) {
                    printColumn(rowData.getAfterColumnsList());
                } else {
                    System.out.println("-------> before");
                    printColumn(rowData.getBeforeColumnsList());
                    System.out.println("-------> after");
                    printColumn(rowData.getAfterColumnsList());
                }
            }
        }
    }

    private static void printColumn(List<Column> columns) {
        for (Column column : columns) {
            System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());
        }
    }

}

2、

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 要将MySQL数据同步到Redis,您可以使用一个名为“Canal”的工具。Canal是阿里巴巴开源的一款数据变更捕获和同步工具,可以监控MySQL数据库中的数据变化,并将其同步到Redis或其他数据存储中。 以下是将MySQL数据同步到Redis的一般步骤: 1. 安装和配置Canal,可以参考Canal官方文档。 2. 配置Canal实例,包括MySQL和Redis的连接信息、数据过滤规则等。 3. 启动Canal实例,开始监控MySQL数据库的数据变化。 4. 编写处理Canal数据的程序,将数据从Canal获取并同步到Redis。 5. 运行处理程序,开始将MySQL数据同步到Redis。 需要注意的是,在将MySQL数据同步到Redis时,需要考虑数据格式的转换、数据冲突处理等问题,以确保数据的正确性和一致性。 ### 回答2: 在现代的web应用中,通常会使用关系型数据MySQL来存储数据,而使用Redis来作为缓存数据库,加快应用的响应速度。同时,为了保证数据一致性,需要将MySQL中的数据同步到Redis中。这里就介绍下如何使用Canal来实现MySQL到Redis的数据同步。 Canal是阿里巴巴开源的一款基于Java开发的数据库同步工具,可以实时监控MySQL数据库的变化,并将变化同步到指定的目的地,如Redis等。以下是步骤: 1、下载Canal 可以从Canal的github仓库中找到最新的release版本,下载解压后,即可使用。同时,需要准备一个MySQL服务器和一个Redis服务器。 2、配置Canal 在Canal的安装目录中,可以找到一个conf文件夹,其中存放着各种配置文件。在这里,我们需要修改instance.properties文件,其中涉及到的参数包括: - canal.instance.master.address:MySQL服务器的地址。 - canal.instance.master.journal.name:MySQL服务器的binlog名称。 - canal.instance.master.position:上次同步到MySQL的位置。 - canal.instance.rdb.url:Redis服务器的地址。 - canal.instance.rdb.password:Redis服务器的密码。 3、启动Canal 在安装目录中的bin文件夹中,可以找到canal.sh/canal.bat等启动脚本文件,启动Canal服务。 4、创建同步任务 在Canal的管理界面中,可以创建同步任务,并指定目标同步位置、过滤规则等参数。 5、同步MySQL数据到Redis 启动Canal服务后,即可实时监控MySQL的变化,并将数据同步到Redis中。可以在Redis中通过命令行或者客户端工具查看已同步的数据。 以上是使用Canal同步MySQL数据到Redis的基本步骤,需要注意的是,Canal数据同步可以控制灵活,支持多种过滤规则,可以根据具体需求进行设置。同时,受限于Redis的并发处理能力,当数据量较大时,需要注意Redis设置参数的调整,以充分利用其性能优势。 ### 回答3: Canal是一款用于MySQL数据库日志增量订阅&消费的工具,可以将MySQL数据库的变更事件以Kafka消息队列的形式发布出来,并提供了多种客户端的消费途径。Redis则是一款高性能的非关系型数据库,通常被用作缓存和存储数据结构。 将MySQL数据同步到Redis,是一项非常实用的任务。通过使用Canal,我们可以订阅MySQL数据库的变化,并将数据以Kafka消息的形式呈现出来。接着,可以通过编写定制化的程序,按需消费Kafka消息,并将消息中的数据存储到Redis中。 以下是同步MySQL数据到Redis的基本步骤: 1. 启动Canal和Kafka。首先,需要安装Canal和Kafka,并启动两者。启动Canal后,需要创建一个Canal实例来订阅MySQL数据库的变更事件。在这里,我们可以指定订阅特定的数据库、表和事件类型,以便更好地控制数据流。 2. 编写消费者程序。在Canal和Kafka都已启动的情况下,我们需要编写一个Kafka消费者程序,用于消费Canal发送的消息。在消费者程序中,我们可以通过解析Kafka消息体来获取变化的数据,然后将其转换为Redis中的数据格式,并存储到Redis中。 3. 数据格式转换。根据不同的业务需求,我们需要将MySQL中的数据转换成Redis支持的数据格式。例如,在存储关系型数据时,我们可以使用Hash来存储key-value键值对;在存储非关系型数据时,我们可以使用Sorted Set等数据结构。 4. 容错与性能优化。在实际应用场景中,我们还需要考虑各种异常情况的处理。例如,当Redis出现宕机或网络中断等故障时,需要自动进行重试或者将数据存储到其他存储介质中。此外,还需要对程序进行性能优化,以便提高系统的吞吐量和性能表现。 总的来说,通过Canal同步MySQL数据到Redis具有很大的实用价值,可以极大地提高系统的实时性和响应性。但是,该过程涉及比较复杂的流程和技术,需要综合考虑多种因素,才能实现高效可靠的数据同步。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值