Redis事务与集群

最新推荐文章于 2024-06-07 15:18:42 发布
最新推荐文章于 2024-06-07 15:18:42 发布
阅读量278 收藏
点赞数
文章标签： redis java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_64684039/article/details/132824124
版权

事务的概念与ACID特性

Redis事务

Redis事务是一组命令的集合，一个事务中的所有命令都将被序列化，按照一次性、顺序性、排他性的执行一系列的命令。

image-20211221173122123

Redis事务三大特性

  1. 单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断；
  2. 没有隔离级别的概念：队列中的命令没有提交之前都不会实际的被执行，因为事务提交前任何指令都不会被实际执行，也就不存在”事务内的查询要看到事务里的更新，在事务外查询不能看到”。
  3. 不保证原子性：redis同一个事务中如果有一条命令执行失败，其后的命令仍然会被执行，没有回滚；

Redis事务执行的三个阶段

image-20211221172945253

  • 开启：以MULTI开始一个事务；
  • 入队：将多个命令入队到事务中，接到这些命令并不会立即执行，而是放到等待执行的事务队列里面；
  • 执行：由EXEC命令触发事务；

事务基本操作

Multi、Exec、discard

事务从输入Multi命令开始，输入的命令都会依次压入命令缓冲队列中，并不会执行，直到输入Exec后，Redis会将之前的命令缓冲队列中的命令依次执行。组队过程中，可以通过discard来放弃组队。

开启一个事务（可以先删除之前数据flushall）：MULTI

设置数据并提交数据：exec

注意：

1.命令集合中含有错误的指令（注意是语法错误），均连坐，全部失败。

2.运行时错误，即非语法错误，正确命令都会执行，错误命令返回错误。

Redis集群_主从复制

面临问题:

  1. 机器故障。我们部署到一台 Redis 服务器，当发生机器故障时，需要迁移到另外一台服务器并且要保证数据是同步的。
  2. 容量瓶颈。当我们有需求需要扩容 Redis 内存时，从 16G 的内存升到 64G，单机肯定是满足不了。当然，你可以重新买个 128G 的新机器。

解决：

        将原来集中式数据库的数据分别存储到其他多个网络节点上。

注意：

        Redis 为了解决这个单一节点的问题，也会把数据复制多个副本部署到其他节点上进行复制，实现 Redis的高可用，实现对数据的冗余备份从而保证数据和服务的高可用。

什么是主从复制

主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave),数据的复制是单向的，只能由主节点到从节点。

主从复制的作用

  1. 数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
  2. 故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余。
  3. 负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。
  4. 高可用基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。

主从复制环境搭建

1.先停掉原本服务

lsof -i:6379

kill -9 服务的id

2.redis中编写配置文件redis6379.conf

include /usr/local/redis/redis.conf
pidfile /var/run/redis_6379.pid
port 6379
dbfilename dump6379.rdb

3.拷贝配置文件

 

redis中有三个配置文件

此时启动不同的文件服务

4.修改不同配置文件（80,81）中的端口号

eg：6380中修改

5.通过不同文件启动不同服务

6.查看是否成功启动

7.打开两个新窗口连接不同服务

8.分别配置从库（80,81）服从主库（主库79不需要配置）

 

9.查看各机器信息：info replication

79

81

10.主节点中创建保存数据，从节点的数据可以读取

主从复制原理剖析

复制过程大致分为6个过程

image-20211221223008806

主从复制连接正常通信后，对于首次建立复制的场景，主节点会把持有的数据全部发送给从节点，这部分操作是耗时最长的步骤。

image-20211223114716229

偏移量offset相同说明主从机器数据已经同步

redis设置密码：requirepass

redis刚进行主从连接时，进行的是全量同步

哨兵监控

主机宕机后，只能手动切换从节点升级。考虑哨兵模式自动切换。

原理：哨兵通过发送命令等待redis服务器响应，从而监控reids运行的多个实例。

image-20211222100702198

哨兵作用

  • 集群监控：负责监控redis master和slave进程是否正常工作
  • 消息通知：如果某个redis实例有故障，那么哨兵负责发送消息作为报警通知给管理员
  • 故障转移：如果master node挂掉了，会自动转移到slave node上
  • 配置中心：如果故障转移发生了，通知client客户端新的master地址

哨兵模式解决主从切换问题

配置哨兵监控

搭建三台哨兵监控（集群奇数为例）

redis中创建配置文件：vim sentinel-26379.conf

#端口
port 26379
#守护进程运行
daemonize yes
#日志文件
logfile "26379.log"
sentinel monitor mymaster 127.0.0.1 6379 2

参数：

sentinel monitor mymaster 192.168.92.128 6379 2 配置的含义是：该哨兵节点监控192.168.92.128:6379这个主节点，该主节点的名称是mymaster，最后的2的含义与主节点的故障判定有关：至少需要2个哨兵节点同意，才能判定主节点故障并进行故障转移。

复制配置文件分别为80,81，并修改端口，最后只需要监控主节点79

#端口
port 26380
#守护进程运行
daemonize yes
#日志文件
logfile "26380.log"
sentinel monitor mymaster 127.0.0.1 6379 2

哨兵启动

redis-sentinel sentinel-26379.conf

查看哨兵节点状态

哨兵监控原理

监控阶段-通知阶段-故障转移阶段-投票方式

image-20211222145241996

image-20211222145917372

img

redis哨兵模式是一种高可用的架构

哨兵监控故障转移

杀掉掉79服务类似主机宕机：kill -9 主机id

此时无法连接主机79

哨兵会自动切换

连接查看，主机切换为80

注意：

会发现主节点还没有切换过来，因为哨兵发现主节点故障并转移，需要一段时间。

重启6379节点

故障转移后，配置文件和主机都被修改

结论

  • 哨兵系统中的主从节点，与普通的主从节点并没有什么区别，故障发现和转移是由哨兵来控制和完成的。
  • 哨兵节点本质上是redis节点。
  • 每个哨兵节点，只需要配置监控主节点，便可以自动发现其他的哨兵节点和从节点。
  • 在哨兵节点启动和故障转移阶段，各个节点的配置文件会被重写(config rewrite)。

Cluster模式概述

redis三种集群模式：主从，sentinel，cluster

哨兵模式存在问题：

1.选举阶段redis无法提供服务，存在访问瞬断问题。

2.对外只有主节点可以写，从节点只读。主节点压力增加。

3.redis单节点内存不能过大，否则主从同步速度变慢。

采用cluster

image-20211224101351974

redis集群有多个主从节点群组成的分布式服务集群，具有复制，高可用和分片特性。

Cluster模式搭建

需要至少3个主节点

环境准备

第1台机器： 192.168.66.101  8001端口 8002端口
第2台机器： 192.168.66.102  8001端口 8002端口
第3台机器： 192.168.66.103  8001端口 8002端口
 

发送到所有回话

在三台机器中安装redis

进入redids进行编译：make

安装：make install

重命名文件为redis

在redis中创建文件夹并创建配置文件夹

复制文件到8001

进入8001修改配置文件

1.端口号：8001

2.开启保护模式daemonize

3.修改pidfile路径

4.指定数据文件的存放位置，必须到指定不同的目录位置，否则丢失文件数据

5.打开cluster的集群模式

6.集群节点信息文件

7.节点离线的超时时间

8.注释本地绑定

9.关闭保护模式

10.开启appendonly

11.根据需要配置密码（这里不设置密码）

修改8002：复制8001的文件到8002

利用一键替换的命令修改8002的配置文件（g为全局修改的意思）

注意关闭防火墙

启动每一台服务

查看服务

发送到当前会话创建集群：（如果设置了密码需要添加命令：-a 密码名）

参数：

  • -a：密码
  • --cluster-replicas 1：表示1个master下挂1个slave； --cluster-replicas 2：表示1个master下挂2个slave。

创建成功

寻求帮助

参数：

  • create：创建一个集群环境host1:port1 ... hostN:portN
  • call：可以执行redis命令
  • add-node：将一个节点添加到集群里，第一个参数为新节点的ip:port，第二个参数为集群中任意一个已经存在的节点的ip:port
  • del-node：移除一个节点
  • reshard：重新分片
  • check：检查集群状态

验证集群

连接任意一个客户端

参数：

  • ‐a表示服务端密码
  • ‐c表示集群模式
  • -h指定ip地址
  • -p表示端口号

查看集群状态信息

Cluster模式原理

Redis Cluster将所有数据划分为16384个slots(槽位)，每个节点负责其中一部分槽位。槽位的信息存储于每个节点中。只有master节点会被分配槽位，slave节点不会分配槽位。

槽位定位算法： k1 = 127001

Cluster 默认会对 key 值使用 crc16 算法进行 hash 得到一个整数值，然后用这个整数值对 16384 进行取模来得到具体槽位。

HASH_SLOT = CRC16(key) % 16384

测试可以通过{}来定义组的概念，从而是key中{}内相同内容的键值对放到同一个slot中。

故障恢复

查看节点：192.168.66.103:8001> cluster nodes
杀死Master节点

lsof -i:8001
kill -9 pid


java操作redis集群

在之前创建的项目中添加一个测试类

@Test
public class clusterTest {

    //构建set集合保存redis node
    Set<HostAndPort> jedisClusterNode = new HashSet<HostAndPort>();
    jedisClusterNode.add(new HostAndPort("192.168.66.101", 8001));
    jedisClusterNode.add(new HostAndPort("192.168.66.102", 8001));
    jedisClusterNode.add(new HostAndPort("192.168.66.103", 8001));
    jedisClusterNode.add(new HostAndPort("192.168.66.101", 8002));
    jedisClusterNode.add(new HostAndPort("192.168.66.102", 8002));
    jedisClusterNode.add(new HostAndPort("192.168.66.103", 8002));

    //构建Jediscluster实例，建立连接
    JedisCluster jedisCluster = new JedisCluster(reidsNodes);
    jedisCluster.set("name","baizhan");
    //jedisCluster.get("name");
    //System.out.println(name);

}

再创建一个SpringBoot项目

配置文件

##单服务器
spring.redis.cluster.nodes=192.168.202.101:8001,192.168.202.102:8001,192.168.202.103:8001,192.168.202.101:8002,192.168.202.102:8002,192.168.202.103:8002
## 连接池最大连接数（使用负值表示没有限制） 
spring.redis.pool.max-active=300
## Redis数据库索引(默认为0) 
spring.redis.database=0
## 连接池最大阻塞等待时间（使用负值表示没有限制） 
spring.redis.pool.max-wait=-1
## 连接池中的最大空闲连接 
spring.redis.pool.max-idle=100
## 连接池中的最小空闲连接 
spring.redis.pool.min-idle=20
## 连接超时时间（毫秒） 
spring.redis.timeout=60000

测试类操作

破坏神在行动
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis第二十九讲 Redis集群发布订阅模式以及Redis集群事务
程序员路同学
04-14 463
Redis第二十九讲 Redis集群发布订阅模式以及Redis集群事务
Redis集群事务
人走茶良的博客
03-29 1204
一、redis事务 　　 　　1、redis和mysql的对比 　　 　　2、redis事务命令 　　 　　3、事务执行举例 　　 　　4、redis事务中的锁机制 　　 　　5、redis服务管理命令 　　 　 　　6、redis慢日志查询 　　 二、Redis主从复制 　　1、redis复制特性 　　　　 　　　　 　　2、主从复制的方式 　　　　 　　　　 　　3、redis主从复制原理 　　　　 　　4、redis命令的传播 ...
Redis到底支不支持事务？
最新发布
一个喜欢诗和远方的程序媛
06-07 795
可以一次执行多个命令，本质是一组命令的集合。一个事务中的所有命令都会序列化，按顺序地串行化执行而不会被其它命令插入，不许加塞。multi: 开启一个事务，multi 执行之后，客户端可以继续向服务器发送任意多条命令，这些命令不会立即被执行，而是被放到一个队列中。exec:执行队列中所有的命令discard:中断当前事务，然后清空事务队列并放弃执行事务监视一个(或多个)key ，如果在事务执行之前这个(或这些) key 被其。
3.5 Redis 事务处理及架构应用实践
蟑螂恶霸的博客
12-10 589
1 Redis事务简介 1.1 概述 事务是一个业务,也可以看成是一个逻辑工作单元,是为了保证业务的完整,数据的正确而推出的一种控制机制,原则上来讲,事务必须要满足ACID四个特性(原子性,一致性,隔离性,持久性),在多个事务 在并发执行,为更好保证事务的四个特性的实现,通常会对事务加锁,Redis为了性能,采用了乐观锁方式进行事务控制，它使用watch命令监视给定的key，当exec（提交事务）的时候,如果监视的key从调用watch后发生过变化，则整个事务会失败。也可以调用watch多次监视多个key。
【进阶篇】2.6 Redis 事务详解
热门推荐
日拱一卒无有尽，功不唐捐终入海
07-08 6万+
Redis 事务是一种将多个命令打包在一起执行的机制，可以保证这些命令的原子性，即要么全部执行成功，要么全部执行失败。开启事务在客户端执行 MULTI 命令时，Redis 会将该客户端标记为事务状态。此时，客户端发送的所有命令都会被暂存到一个事务队列中，而不是立即执行。执行事务在客户端执行 EXEC 命令时，Redis 会将客户端状态从事务状态中移除，并依次执行事务队列中的所有命令。在执行期间，Redis 会将事务队列中的命令全部执行完毕，而不会中途中断。
Redis Lettuce在Cluster模式下使用(自定义事务)
Timmer的博客
05-22 2469
在redis cluster模式下，基于某些redis业务为了保证redis command的原子性又要提高程序的高并发性能，从而直接使用redis事务可能会更好的满足的我们的要求，但是直接使用redis cluster的连接是不支持事务的，也就是multi模式，单是4.0以上的lettuce官网说是支持multi模式的，经过多次实践研究终于得出了一种可以在redis cluster模式下使用multi的方案。直接连接cluster不可以那么我们直接连接到单台的redis。
Redis集群安装与测试.docx
05-08
本篇文章将深入探讨 Redis 集群的安装与测试，包括其基本概念、集群模式、版本说明以及测试环境。 1. Redis 简介 Redis 提供了多种数据类型，如字符串(string)、列表(list)、集合(set)、有序集合(zset)和哈希(hash)...
springboot+redis单机与集群
06-10
需要注意的是，Redis集群不支持所有的数据类型，例如，单个键的事务和某些复杂的操作在集群中不可用。因此，在设计数据模型和业务逻辑时，需要考虑到这些限制。 总的来说，Spring Boot+Redis的组合在实际开发中非常...
springmvc与redis4.5集群集成
10-30
**SpringMVC与Redis 4.5集群集成详解** 在当今的互联网应用中，缓存技术扮演着至关重要的角色，而Redis作为一款高性能的Key-Value数据库，常被用于提高数据读取速度，减轻数据库压力。SpringMVC是Java Web开发中的...
redis集群批量插入
11-23
本文将详细讨论如何在Java环境下连接Redis集群并实现批量插入String类型的数据。 首先，我们需要理解Redis集群的基本概念。Redis集群是通过分片（Sharding）技术来分散数据到多个节点，每个节点存储一部分数据。在...
Redis集群搭建工具及教程
12-29
2. **Redis高级使用.doc**：这份文档可能包含Redis的高级特性介绍，如事务（Transactions）、发布/订阅（Publish/Subscribe）、持久化（Persistence）、复制（Replication）以及集群配置和操作等内容。 3. **redis-...
Redis Cluster 原理和优缺点
csxylrf的博客
04-23 980
Redis Cluster 是 Redis 的集群化解决方案之一，它可以将多个 Redis 节点组成一个分布式集群，实现数据的分布式存储和处理。Redis Cluster 的集群模式采用了分片技术，将所有的键值对分散存储在多个节点中，并通过哈希槽将每个键值对映射到一个固定数量的哈希槽中。每个节点负责维护一部分哈希槽，并在这些哈希槽上存储对应的键值对。当客户端对 Redis Cluster 发送命令时，Redis Cluster 会根据键名计算哈希值，并将哈希值映射到一个对应的哈希槽上。
使用 Java 对 Redis 集群的事务处理
宇智波小强的博客
05-13 1777
前言 Redis 单机是支持事务的，Redis 的事务是下面 4 个命令来实现： 1.multi开启 Redis 的事务，置客户端为事务态。 2.exec提交事务，执行从 multi 到此命令前的命令队列，置客户端为非事务态。 3.discard取消事务，置客户端为非事务态。 4.watch监视键值对，作用时如果事务提交 exec 时发现监视的键值对发生变化，事务将被取消。 将是否有 watch 命令分为普通类型事务和 CAS（Check An...
深入理解Redis Cluster
daobuxinzi的博客
09-11 265
只有持有槽的主节点才会处理故障选举消息（FAILOVER_AUTH_REQUEST），因为每个持有槽的节点在一个配置纪元内都有唯一的一张选票，当接到第一个请求投票的从节点消息时回复FAILOVER_AUTH_ACK消息作为投票，之后相同配置纪元内其他从节点的选举消息将忽略。故障节点变为客观下线后，如果下线节点是持有槽的主节点则需要在它的从节点中选出一个替换它，从而保证集群的高可用。下线主节点的所有从节点承担故障恢复的义务，当从节点通过内部定时任务发现自身复制的主节点进入客观下线时，将会触发故障切换流程。
Redis集群与事务
art_code的博客
11-02 4499
Redis集群与事务 redis集群对象JedisCluster不支持事务，但是，集群里面的每个节点支持事务 但是可以用第三方呀 启动下，然后看看事务问题： /usr/local/redis/bin/redis-server /usr/local/redis-cluster/9001/redis/etc/redis.conf /usr/local/redis/bin/redis...
rediscluster全局数据_设计数据密集型应用（6-7）：分片、事务
weixin_39943992的博客
12-19 133
分片假设我们有一个单机数据库，上面有三张表：用户表、商品表和订单表。 业务刚起步的时候，数据量很少，这个只有三张表的数据库运行得很好。 随着业务发展，用户数量、商品数量、订单数量都在持续增长，数据库的负载越来越高。我们开始对数据库进行垂直拆分（垂直分片），把这三张表拆到三个数据库，而业务代码改改数据库的配置就好。 再后来，一个数据库也承载不了用户表的数据，需要对用户表进行水平拆分（水平分片）。比如...
redis集群事务管理工具类
anguser
12-15 4345
redis集群对象JedisCluster不支持事务，但是，集群里边的每个节点支持事务。 redis 集群管理事务的工具类public class JedisClusterTransactionManager { private static ThreadLocal<Object> txThreadLocal = new ThreadLocal<>(); private static
Redis集群环境下的分布式事务问题探究
五维空间
12-22 3887
    近日，从部署在PaaS平台上的java项目日志中发现每次前台按钮触发后会抛出redis释放锁的自定义的异常信息，回查代码发现是由于使用了自定义的Redis分布式锁(RedisLock工具类)过程中，在自定义的释放锁的方法中本打算使用watch()、multi()和exec()方法组成的事务来实现乐观锁控制(Redis事务没有回滚操作)，结果发现并不可以直接用，否则会在PaaS平台的Red...
Redis事务，集群。
wuguangrong888的博客
07-19 1008
Redis 安装 使用Redis cluster 搭建集群 单机Redis事务 Redis集群事务，不支持简单命令事务 一、在机器上安装VMware，使用linux centos 7系统。准备两台虚拟机。两台虚拟机都是 CentOS ，一台 CentOS6.5 （IP:192.168.190.128），一台 CentOS（IP:192.168.190.129） 二、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值