Redis应用（6）——Redis的项目应用（五

最新推荐文章于 2024-05-21 10:25:11 发布
最新推荐文章于 2024-05-21 10:25:11 发布
阅读量169 收藏 5
点赞数 4
分类专栏： 程序员 文章标签： redis adb 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84003554/article/details/138335695
版权

canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

  • 数据库镜像
  • 数据库实时备份
  • 索引构建和实时维护(拆分异构索引、倒排索引等)
  • 业务 cache 刷新
  • 带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

mysql配置

检查binlog

进入mysql中检查binlog是否开启。

show VARIABLES like ‘log_%’

在这里插入图片描述

创建用户canal

在mysql中创建用户canal

create user 'canal'@'%' IDENTIFIED with mysql_native_password by 'canal';
grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT on \*.\* to 'canal'@'%';
FLUSH PRIVILEGES;

在这里插入图片描述

在这里插入图片描述

Canal安装(docker)

1.查询，拉取镜像

在这里插入图片描述

在这里插入图片描述

[root@localhost ~]# docker pull docker.io/canal/canal-server 
Using default tag: latest
Trying to pull repository docker.io/canal/canal-server ... 
latest: Pulling from docker.io/canal/canal-server
1c8f9aa56c90: Pull complete 
c5e21c824d1c: Pull complete 
4ba7edb60123: Pull complete 
80d8e8fac1be: Pull complete 
3ed54dc05421: Pull complete 
0483689c94d6: Pull complete 
7f88be158eae: Pull complete 
Digest: sha256:8960a350bc8a35b0605e82ca083eed4a7f13bab7cd5164a4cb2a80e8b68edefc
Status: Downloaded newer image for docker.io/canal/canal-server:latest
[root@localhost ~]# docker image ls
REPOSITORY                     TAG                 IMAGE ID            CREATED             SIZE
docker.io/mysql                latest              8189e588b0e8        2 months ago        564 MB
docker.io/redis                latest              7614ae9453d1        18 months ago       113 MB
docker.io/canal/canal-server   latest              0c7f1d62a7d8        2 years ago         874 MB
2.准备挂载启动的文件

在这里插入图片描述

权限放开

在这里插入图片描述

3.修改ip，file，position，username，password

在这里插入图片描述

修改ip，file，position，

在这里插入图片描述

修改username，password

在这里插入图片描述

4.挂载启动privileged=true
bug：加上privileged=true

在这里插入图片描述

[root@localhost conf]# docker images 
REPOSITORY                     TAG                 IMAGE ID            CREATED             SIZE
docker.io/mysql                latest              8189e588b0e8        2 months ago        564 MB
docker.io/redis                latest              7614ae9453d1        18 months ago       113 MB
docker.io/canal/canal-server   latest              0c7f1d62a7d8        2 years ago         874 MB
[root@localhost conf]# docker run -itd  --name canal  -p 11111:11111 --privileged=true  -v /usr/local/software/canal/conf/instance.properties:/home/admin/canal-server/conf/example/instance.properties  -v  /usr/local/software/canal/conf/canal.properties:/home/admin/canal-server/conf/example/canal.properties    canal/canal-server
2cd5ef5e0f4ecc1469ce5e920cde23148a1f228ee3611815d84f570d5628fd21
[root@localhost conf]# docker ps 
CONTAINER ID        IMAGE                COMMAND                  CREATED             STATUS              PORTS                                                      NAMES
2cd5ef5e0f4e        canal/canal-server   "/alidata/bin/main..."   30 seconds ago      Up 29 seconds       9100/tcp, 11110/tcp, 11112/tcp, 0.0.0.0:11111->11111/tcp   canal

在这里插入图片描述

5.查看日志
[root@localhost conf]# docker logs canal

在这里插入图片描述

canal入门案例

https://kgithub.com/alibaba/canal/wiki/ClientExample

在这里插入图片描述

1.导包
<!-- canal管道-->
        <dependency>
            <groupId>com.alibaba.otter</groupId>
            <artifactId>canal.client</artifactId>
            <version>1.1.0</version>
        </dependency>
2.官网代码案例

创建连接

// 创建链接
final InetSocketAddress HOST = new InetSocketAddress("192.168.111.130",11111);
CanalConnector connector = CanalConnectors.newSingleConnector(HOST, "example", "", "");


package com.tianju.redisDemo.canal;
import java.net.InetSocketAddress;
import java.util.List;


import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.common.utils.AddressUtils;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;


public class CanalDemo {
    public static void main(String args[]) {

        // 创建链接
        final InetSocketAddress HOST = new InetSocketAddress("192.168.111.130",11111);
        CanalConnector connector = CanalConnectors.newSingleConnector(HOST, "example", "", "");
        int batchSize = 1000;
        int emptyCount = 0;
        try {
            connector.connect();
            connector.subscribe(".\*\\..\*");
            connector.rollback();
            int totalEmptyCount = 120;
            while (emptyCount < totalEmptyCount) {
                Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
                long batchId = message.getId();
                int size = message.getEntries().size();
                if (batchId == -1 || size == 0) {
                    emptyCount++;
                    System.out.println("empty count : " + emptyCount);
                    try {
                        Thread.sleep(1000);
                    } catch (InterruptedException e) {
                    }
                } else {
                    emptyCount = 0;
                    // System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);
                    printEntry(message.getEntries());
                }

                connector.ack(batchId); // 提交确认
                // connector.rollback(batchId); // 处理失败, 回滚数据
            }

            System.out.println("empty too many times, exit");
        } finally {
            connector.disconnect();
        }
    }

    private static void printEntry(List<Entry> entrys) {
        for (Entry entry : entrys) {
            if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
                continue;
            }

            RowChange rowChage = null;
            try {
                rowChage = RowChange.parseFrom(entry.getStoreValue());
            } catch (Exception e) {
                throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),
                        e);
            }

            EventType eventType = rowChage.getEventType();
            System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
                    eventType));

            for (RowData rowData : rowChage.getRowDatasList()) {
                if (eventType == EventType.DELETE) {
                    printColumn(rowData.getBeforeColumnsList());
                } else if (eventType == EventType.INSERT) {
                    printColumn(rowData.getAfterColumnsList());
                } else {
                    System.out.println("-------&gt; before");
                    printColumn(rowData.getBeforeColumnsList());
                    System.out.println("-------&gt; after");
                    printColumn(rowData.getAfterColumnsList());
                }
            }
        }
    }

    private static void printColumn(List<Column> columns) {
        for (Column column : columns) {
            System.out.println(column.getName() + " : " + column.getValue() + " update=" + column.getUpdated());
        }
    }
}
3.运行结果

在这里插入图片描述

Redis的项目应用（五）：Canal的项目应用

缓存自动更新

在这里插入图片描述

如果数据库的数据发生了变化，要能够自动更新redis缓存

在这里插入图片描述

改造官网的案例@Component

@Component

AutoUpdateRedis.java文件

package com.tianju.redisDemo.canal;
import java.net.InetSocketAddress;
import java.util.List;


import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.common.utils.AddressUtils;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;

@Slf4j
@Component
public class AutoUpdateRedis {
    public void run() {

        // 创建链接
        final InetSocketAddress HOST = new InetSocketAddress("192.168.111.130",11111);
        CanalConnector connector = CanalConnectors.newSingleConnector(HOST, "example", "", "");


# **读者福利**

![秋招我借这份PDF的复习思路，收获美团，小米，京东等Java岗offer](https://img-blog.csdnimg.cn/img_convert/df43b890426fdf54b932e28fcf013997.webp?x-oss-process=image/format,png)

**更多笔记分享**

![秋招我借这份PDF的复习思路，收获美团，小米，京东等Java岗offer](https://img-blog.csdnimg.cn/img_convert/08f176e3544d37a9fab846794a0d0e6c.webp?x-oss-process=image/format,png)



@Component
public class AutoUpdateRedis {
    public void run() {

        // 创建链接
        final InetSocketAddress HOST = new InetSocketAddress("192.168.111.130",11111);
        CanalConnector connector = CanalConnectors.newSingleConnector(HOST, "example", "", "");


# **读者福利**

[外链图片转存中...(img-tZSMu1ii-1714441110098)]

**更多笔记分享**

[外链图片转存中...(img-WbMcOi2x-1714441110099)]



> **本文已被[CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】](https://bbs.csdn.net/topics/618154847)收录**
2401_84003554
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Redis——redis学习过程
01-07
参考文献： ...学习过程： 1、Redis的安装 2、Redis的核心配置we年Redis.conf讲解文件 3、Docker安装Redis 4、Redis常用数据类型及应用场景...6、Redis高级配置 Redis5集群搭建 JAVA远程客户端RedisCluster实战应用 Spring
【Redis|2】Redis应用场景 ——分布式锁
颜淡慕潇
03-19 7331
Redisson是一款基于Java的Redis客户端，它封装了Redis的Java客户端Jedis、Lettuce等，并且提供了许多额外的功能，例如分布式锁、分布式集合、分布式对象、布隆过滤器等。提供了丰富的API，简单易用。提供了多种数据结构的实现，如分布式锁、分布式集合、分布式Map、分布式Queue等。支持多种Redis部署方式，如单节点、主从、哨兵、集群等。提供了基于Netty的高性能的Redis连接池。提供了基于Ramp模型的分布式远程调用框架，可以方便的进行分布式服务调用。
Java缓存面试题——Redis应用
热门推荐
二蛋的博客
02-23 1万+
1、为什么要使用Redis做缓存？2、为什么Redis单线程模型效率也能那么高？3、Redis6.0为什么要引入多线程呢？4、Redis常见数据结构以及使用场景字符串（String）哈希(Hash)列表（list）集合（set）有序集合（ZSET）5、pipeline有什么好处，为什么要用pipeline？6、Redis官方为什么不提供Windows版本？7、Redis持久化方式有哪些？以及有什么区别？RDBAOF8、什么是Redis事务？原理是什么？9、如何在100个亿URL中快速判断某URL是否存在？传
springboot+redis实战项目——黑马点评
hayhead的博客
05-14 5036
项目地址 前端地址 后端地址 此项目的几个重点 1、缓存击穿、缓存雪崩、缓存穿透的解决方案 2、全局唯一id实现方案 雪花算法，原理这里就不说了，直接上代码 package com.rd.utils; import java.net.Inet4Address; import java.net.UnknownHostException; import java.util.Random; // 雪花算法 public class SnowflakeIdWorker { /** 时间部分所占长度 *
五、Redis 主从集群 —— 超详细操作演示！
weixin_43412762的博客
12-17 1439
对于Master宕机后的冷处理方式是无法实现高可用的。Redis 从 2.6 版本开始提供了高可用的解决方案Sentinel哨兵机制。在集群中再引入一个节点，该节点充当Sentinel哨兵，用于监视Master的运行状态，并在 Master 宕机后自动指定一个Slave作为新的Master。整个过程无需人工参与，完全由哨兵自动完成。不过，此时的Sentinel哨兵又成为了一个单点故障点：若哨兵发生宕机，整个集群将瘫痪。所以为了解决Sentinel的单点问题，又要为Sentinel创建一个集群，即。
Redis数据类型——hash类型的应用场景
weixin_44860226的博客
10-24 120
redis中覆盖或者没成功都返回0。hsetnx 返回0表示不能覆盖。
Redis的11种Web应用场景简介
09-10
一些Redis原语命令比如LPUSH、LTRIM和 LREM等等能够用来帮助开发者完成需要的任务——这些任务在传统的数据库存储中非常困难或缓慢。这是一篇非常有用并且实际的文章。那么要如何在你的框架中完成这些任务呢?
在Node.js应用中使用Redis的方法简介
01-01
在开始本文之前请确保安装好 Redis 和 Node.js 以及 Node.js 的 Redis 扩展 —— node_redis 首先创建一个新文件夹并新建文本文件 app.js 文件内容如下：   var redis = require(redis) , client = redis.create...
Java企业级电商项目演进——Tomcat集群和Redis分布式.zip
01-12
软件开发设计：应用软件开发、系统软件开发、移动应用开发、网站开发C++、Java、python、web、C#等语言的项目开发与学习资料 硬件与设备：单片机、EDA、proteus、RTOS、包括计算机硬件、服务器、网络设备、存储设备...
在Node.js应用中读写Redis数据库的简单方法
01-20
在开始本文之前请确保安装好 Redis 和 Node.js 以及 Node.js 的 Redis 扩展 —— node_redis 首先创建一个新文件夹并新建文本文件 app.js 文件内容如下：   var redis = require(redis) , client = redis.create...
使用Redisson实现延时消息
qq_24510649的博客
05-17 574
Redis 的过期事件监听是基于 pub/sub 的，key 过期时会 pub 消息到一个内置的 channel 中，客户端可以通过监听这个 channel 获取到消息，进而实现延时队列的功能。所以删除过期的key不一定是过期的时间。：Redisson的延时队列可以在分布式环境中使用，并提供了分布式锁和协调机制，确保多个节点或实例之间的任务处理的一致性和可靠性。：Redisson的延时队列支持异步任务处理，减少了等待时间和阻塞，提升了整体的吞吐量和响应性能。，查询头部元素，如果过期，使用ZREM移除。
连接虚拟机的 redis
qq1359236225的博客
05-15 138
用Windows 的 Redis Insight 安装redis发现连不上。127 开头的被我注释了，换成了ifconfig查到的ip。我的redis是新安装，没有用户名密码，发现是ip问题。
实战使用Java代码操作Redis
背锅神童的博客
05-15 97
在工作中， 如果有一批数据需要初始化， 最方便的方法是使用代码操作Redis进行初始化。 Redis提供了多种语言的API交互方式， 这里以Java代码为例进行分析
Redis优化笔记
2301_80073794的博客
05-20 337
【代码】Redis优化笔记。
redis 事务
南猿北者博客
05-19 509
答： 当客户端和redis服务器进行连接过后，redis服务器会给每个客户端都维护一个队列，这个队列就用来专门存储客户端未提交的事务的命令，当客户端输入exec事务提交命令过后，redis服务器才会将这个队列里面的命令全部取出来一次性执行，并且在执行的过后中，就算有其它客户端的命令到来了，也无法“插入”到这批命令集合中进行执行，只有当这一批命令执行完毕过后，才会去处理下一个客户端的命令。所谓事务，说白了就是一些命令的组合，这一组命令要么全部执行完毕，要么全部不执行，不会存在执行到一半就结束的状态；
Redis教程(十五)：Redis的哨兵模式搭建
最新发布
十三月的博客
05-21 436
分别复制三份Redis工作文件夹，里面内容一致接着修改7002的配置文件，【redis.windows-service.conf】port 7002改成7003也同样修改这样就指定了7001为主机，7002、7003为从机。
【从零开始学习Redis | 第十一篇】快速介绍Redis持久化策略
fckbb的博客
05-14 1021
Redis 作为一种快速、高效的内存数据库，被广泛应用于缓存、消息队列、会话存储等场景。然而，由于其特性是基于内存的，一旦服务器进程退出，内存中的数据就会丢失。为了解决这一问题，Redis 提供了持久化功能，可以将内存中的数据保存到硬盘上，以便在服务器重启时恢复数据。持久化是 Redis 的关键特性之一，对于确保数据的安全性和可靠性至关重要。本文将深入探讨 Redis 的持久化策略，包括常用的持久化方式以及各自的优缺点。
Redis 批量删除指定模糊的key
一碗清深的博客
05-17 488
Redis 批量删除指定模糊的key
RedisTemplateAPI:String
时间如瑾 代码如诗
05-19 1062
String 类型，也就是字符串类型，是Redis中最简单的存储类型。其value是字符串，不过根据字符串的格式不同，又可以分为3类：●string：普通字符串●int：整数类型，可以做自增.自减操作●float：浮点类型，可以做自增.自减操作不管是哪种格式，底层都是字节数组形式存储，只不过是编码方式不同。字符串类型的最大空间不能超过 512 MB。
spark——消费kafka数据保存offset到redis
03-16
可以使用Spark Streaming...7. 启动Spark Streaming应用程序，开始消费Kafka数据并保存offset到Redis中。 需要注意的是，保存offset到Redis中需要考虑并发访问的问题，可以使用Redis的事务机制或者分布式锁来解决。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值