lamp架构--redis数据库（redis twemproxy代理、redis cluster，redis持久化）

最新推荐文章于 2022-03-28 20:49:57 发布
最新推荐文章于 2022-03-28 20:49:57 发布
阅读量171 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45777669/article/details/116007309
版权

文章目录

1. redis twemproxy代理

一般情况下，没有部署负载均衡时，用户在使用redis过程中会导致某个master节点负载过高，并且其它节点资源也不能被充分利用，因此我们的目标是利用twemproxy实现对redis master的负载均衡
在这里插入图片描述

1.1 3个节点都设置为master
##server11 12 13 都注释
[root@server11 redis]# vim /etc/redis/redis.conf 
#min-replicas-to-write 1  
#user default on nopass ~* &* +@all
#replicaof 192.168.0.13 6379
[root@server11 redis]# systemctl restart redis_server.service 
[root@server11 redis]# systemctl status redis_server.service

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2 部署
[root@server14 ~]# yum install -y unzip
[root@server14 ~]# unzip twemproxy-master.zip
[root@server14 ~]# cd twemproxy-master/
[root@server14 twemproxy-master]# vim README.md 
[root@server14 twemproxy-master]# yum install -y automake libtool
[root@server14 twemproxy-master]# autoreconf -fvi
[root@server14 twemproxy-master]# ls
aclocal.m4      ChangeLog  config       configure     contrib  m4           Makefile.in  notes   README.md  src    travis.sh
autom4te.cache  conf       config.h.in  configure.ac  LICENSE  Makefile.am  man          NOTICE  scripts    tests
[root@server14 twemproxy-master]# ./configure
[root@server14 twemproxy-master]# make
[root@server14 twemproxy-master]# make install 
[root@server14 twemproxy-master]# which nutcracker
/usr/local/sbin/nutcracker

在这里插入图片描述

[root@server14 twemproxy-master]# cd conf/
[root@server14 conf]# ls
nutcracker.leaf.yml  nutcracker.root.yml  nutcracker.yml
[root@server14 conf]# pwd
/root/twemproxy-master/conf
[root@server14 conf]# mkdir /etc/twemproxy
[root@server14 conf]# cp nutcracker.yml /etc/twemproxy ##复制配置文件到指定目录下，便于后续启动
[root@server14 conf]# cd /etc/twemproxy
[root@server14 twemproxy]# vim nutcracker.yml ##编辑配置文件，指定redis master
alpha:
  listen: 0.0.0.0:22121
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.0.11:6379:1 app1
   - 192.168.0.12:6379:1 app2
   - 192.168.0.13:6379:1 app3
[root@server14 twemproxy]# nutcracker -d -c /etc/twemproxy/nutcracker.yml 
[root@server14 twemproxy]# netstat -antlp

在这里插入图片描述
启动后端口开启
在这里插入图片描述

1.3 测试
[root@server14 twemproxy]# redis-cli -p 22121
127.0.0.1:22121> info
Error: Server closed the connection
127.0.0.1:22121> get name
"westos"
127.0.0.1:22121> get name
(nil)
127.0.0.1:22121> set name westos
OK
127.0.0.1:22121> get name
"westos"
127.0.0.1:22121> set demo test
OK
127.0.0.1:22121> get demo
"test"

server11 13 与server14完全同步
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
server4上通过redis-cli -p 22121连接redis，并且写入数据时会均衡调度到三个master节点上，并且当某个节点shutdown之后在server4端同样也能检测到

[root@server11 bin]# redis-cli
127.0.0.1:6379> SHUTDOWN


[root@server14 twemproxy]# redis-cli -p 22121
127.0.0.1:22121> get name
(error) ERR Connection refused
127.0.0.1:22121> set name westos
(error) ERR Connection refused
127.0.0.1:22121> set name westos
OK
127.0.0.1:22121> get name
"westos"

[root@server12 ~]# redis-cli
127.0.0.1:6379> get name
"westos"

2. redis-cluster

集群模型图：
在这里插入图片描述
参考链接 :http://www.redis.cn/topics/cluster-tutorial.html

2.1 部署

搭建集群的第一件事情我们需要一些运行在 集群模式的Redis实例. 这意味这集群并不是由一些普通的Redis实例组成的，集群模式需要通过配置启用，开启集群模式后的Redis实例便可以使用集群特有的命令和特性了。我们选择在一个redis节点上创建多个redis实例来快速构建redis集群

[root@server11 create-cluster]# pwd
/root/redis-6.2.1/utils/create-cluster
[root@server11 create-cluster]# ls
create-cluster  README
[root@server11 create-cluster]# ./create-cluster start ##redis自带的集群启动脚本
Starting 30001
Starting 30002
Starting 30003
Starting 30004
Starting 30005
Starting 30006
[root@server11 create-cluster]# ./create-cluster create ##创建集群
[root@server11 create-cluster]# redis-cli --cluster check 127.0.0.1:30001

在这里插入图片描述
开启的六个实例
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 集群无中心化

访问时集群自动重定向，集群中每个节点均可读写， 从任意一个节点接入到集群，就可以访问和操作这个集群内的数据，无中心化。

[root@server11 create-cluster]# redis-cli -c -p 30001
[root@server11 create-cluster]# redis-cli -c -p 30006
[root@server11 create-cluster]# redis-cli -c -p 30005
127.0.0.1:30005> get name
-> Redirected to slot [5798] located at 127.0.0.1:30002
"westos"

在这里插入图片描述

2.3 自带高可用

内部自带高可用，server2 down掉后，server4 接管server2的master，不影响访问集群资源。

server4 down掉后集群彻底挂掉，因为16384个哈希槽已经不完整了，哈希槽只要丢失一个，集群将会出现故障，此时若要恢复集群，重新执行启动脚本即可。

127.0.0.1:30002> SHUTDOWN
not connected> 
[root@server11 create-cluster]# redis-cli -c -p 30002
Could not connect to Redis at 127.0.0.1:30002: Connection refused
not connected> 
[root@server11 create-cluster]# redis-cli -c -p 30001
127.0.0.1:30001> 
[root@server11 create-cluster]# redis-cli --cluster check 127.0.0.1:30001
[root@server11 create-cluster]# redis-cli -c -p 30001
127.0.0.1:30001> get name
-> Redirected to slot [5798] located at 127.0.0.1:30004
"westos"
127.0.0.1:30004> SHUTDOWN
not connected> 
[root@server11 create-cluster]# redis-cli -c -p 30001
127.0.0.1:30001> get name
(error) CLUSTERDOWN The cluster is down
127.0.0.1:30001>

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

[root@server11 create-cluster]# redis-cli --cluster check 127.0.0.1:30001
[root@server11 create-cluster]# ./create-cluster start
[root@server11 create-cluster]# redis-cli --cluster check 127.0.0.1:30001
[root@server11 create-cluster]# redis-cli -c -p 30001
127.0.0.1:30001> get name
-> Redirected to slot [5798] located at 127.0.0.1:30004
"westos"
127.0.0.1:30004>

在这里插入图片描述

2.4 增加节点

如果想要增加节点，只需要更改脚本中定义的节点数量并重新执行即可

[root@server11 create-cluster]# vim create-cluster 
  8 NODES=8
[root@server11 create-cluster]# ./create-cluster start

在这里插入图片描述
命令添加节点

[root@server11 create-cluster]# redis-cli --cluster add-node 127.0.0.1:30007 127.0.0.1:30001  ##添加节点并指定集群
[root@server11 create-cluster]# redis-cli --cluster check 127.0.0.1:30001
[root@server11 create-cluster]# redis-cli --cluster add-node 127.0.0.1:30008 127.0.0.1:30001 --cluster-slave --cluster-master-id   ce3f7a27be9c1fc64704970f4a91d11c8589a992  ##添加slave节点并指定master
[root@server11 create-cluster]# redis-cli --cluster check 127.0.0.1:30001

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.5 分配哈希槽

此时上述添加的master并没有分配哈希槽，因此无法存储数据，我们需要为其分配哈希槽，交互式迁移：

[root@server11 create-cluster]# redis-cli --cluster reshard 127.0.0.1:30001 
[root@server11 create-cluster]# redis-cli --cluster check 127.0.0.1:30001

all是指哈希槽会从不同的区间内分配。
在使用上述的redis集群时注意两点
1、要始终保证哈希槽的完整性
2、不要一次性down掉集群中过半的master
在这里插入图片描述
在这里插入图片描述

3. redis持久化

Redis 提供了不同级别的持久化方式:
RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储.
AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾.Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大.
如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式.
你也可以同时开启两种持久化方式, 在这种情况下, 当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下`AOF文件保存的数据集要比RDB文件保存的数据集要完整.rdb方式一般在主从复制中用的比较多
参考链接http://www.redis.cn/topics/persistence.html.

redis默认的持久化方式是RDB
配置文件中关于持久化的相关设置：
save 900 1                  %当有一条Keys数据被改变时，900秒刷新到Disk一次
save 300 10                 %当有10条Keys数据被改变时，300秒刷新到Disk一次
save 60 10000 				%当有10000条Keys数据被改变时，60秒刷新到Disk一次
appendonly yes       		%启用AOF持久化方式
appendfsync everysec		%每秒钟强制写入磁盘一次

[root@server11 ~]# systemctl start redis_server.service 
[root@server11 ~]# redis-cli
127.0.0.1:6379> INCR key
(integer) 1
127.0.0.1:6379> INCR key
(integer) 2
127.0.0.1:6379> INCR key
(integer) 3

[root@server11 ~]# cd /var/lib/redis/
[root@server11 redis]# ls
dump.rdb
[root@server11 redis]# vim /etc/redis/redis.conf 
1229 appendonly yes
[root@server11 redis]# systemctl restart redis_server.service 
[root@server11 redis]# ls
appendonly.aof  dump.rdb
[root@server11 redis]# redis-cli  ##登陆redis，计数器，使用计数器命令测试
127.0.0.1:6379> INCR key
(integer) 1
127.0.0.1:6379> INCR key
(integer) 2
[root@server11 redis]# cat appendonly.aof  #记录redis中每次操作的信息
*2
$6
SELECT

启用aof，默认生成apf文件
在这里插入图片描述
重启服务，配置生效后产生appendonly.aof 文件
登陆redis，计数器，使用计数器命令测试
在这里插入图片描述
aof文件记录redis中每次操作的信息
在这里插入图片描述

dandan-99
关注
Docker-compose之Redis Cluster集群
weixin_50236329的博客
11-18 3087
概述 Redis作为基于键值对的NoSQL数据库，具有高性能、丰富的数据结构、持久化、高可用、分布式等特性，同时Redis本身非常稳定，已经得到业界的广泛认可和使用。 在Redis中，集群的解决方案有三种 主从复制 哨兵机制 Cluster Redis Cluster是Redis的分布式解决方案，在 3.0 版本正式推出。 集群方案的对比 1. 主从复制 同Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，读写分离
Redis-Cluster集群
shuanglongman5531的博客
10-19 3476
Redis-Cluster集群 Redis-Cluster集群简介 一、Redis-Cluster集群介绍 1、redis cluster集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。 2、Redis cluster集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点。 3、高达 1000 个节点的高性能和线性可扩展性。没有代理，使用异步复制，并且不对值执行合并操作。 二、为何使用Redis-.
运维(25) docker-compose部署Redis Cluster集群
郑清
02-27 1776
文章目录一、前言二、docker-compose部署Redis Cluster集群创建集群查看集群相关配置文件docker-compose-redis-cluster.ymlredis.conf三、测试 一、前言 运维(23) docker-compose部署redis主从复制模式 运维(24) docker-compose部署redis一主二从三哨兵模式 本文将基于以下环境部署Redis Cluster集群 CentOS Linux release 7.6.1810 (Core) Docker ve
【Redis代理】- Twemproxy，不来了解一哈?
Java领域博主
03-20 2048
Twemproxy实战(详细图文)·（建议收藏）
redis集群搭建之redis-cluster
weixin_45239670的博客
03-28 5757
Redis 集群介绍 Redis Cluster 提供一种Redis安装方式：数据自动在多个Redis节点间分片。 Redis Cluster 提供一定程度的高可用，在实际的环境中当某些节点失败或者不能通讯的情况下能够继续提供服务。大量节点失败的情况下集群也会停止服务（例如大多数主节点不可用）。 Redis集群提供的能力： 自动切分数据集到多个节点上。 当部分节点故障或不可达的情况下继续提供服务。 Redis 集群的端口 每个Redis集群节点需要打开两个TCP连接。端口6379提供给客户端连接，外加上
redis-cluster-proxy代理集群并支持mget命令
程序猿的世界
05-09 1957
参考文档 搭建集群：http://www.redis.cn/topics/cluster-tutorial.html redis-cluster-proxy：https://github.com/RedisLabs/redis-cluster-proxy 搭建集群 集群最少为3个节点，所以需要复制3份redis配置文件，每个文件更改下面几个地方： port：端口号 pidfile：/var/run/redis-6379.pid logfile："/usr/local/var/log/re.
【Docker】使用docker搭建redis-cluster环境【实测成功】
冰河的专栏
04-22 5135
临时接到一个测试任务，而测试需要用到redis-cluster环境，却没有现成的环境可用，于是只能自力更生搭建测试环境。一开始想采用在宿主机上硬搭，但苦于没有那么多的服务器，于是决定试试docker。以下为详细搭建步骤： 基础环境信息 基础环境如下所示： CentOS Linux release 7.5.1804 Docker version 18.09.4 搭建步骤 1、下载red...
【Redis代理】- Cluster
Java领域博主
03-21 1651
Redis代理之 Cluster小记 ·（建议收藏）
redis、jedis、RedisTemplate、Spring-data-redis、spring-boot-starter-data-redis和redis desktop manager区别
GarfieldGosling的博客
03-18 2057
redis、jedis、RedisTemplate、Spring-data-redis、spring-boot-starter-data-redis和redis desktop manager区别
Redis高频面试基本问题整理
热门推荐
张彦峰的博客
04-07 170万+
对Redis一些重点内容进行整理总结用于查缺补漏
tomcat9+tomcat-cluster-redis-session-manager_4.0.zip
07-16
4. 配置Session持久化：在server.xml中配置Manager元素，设置`class`属性为Redis Session Manager的全限定类名，然后配置相关连接参数，如Redis服务器地址、端口、密码等。 5. 测试和调整：启动多个Tomcat实例，...
redis-windows-Redis7.0.0.zip
05-08
数据库方面，Redis提供了持久化功能，主要有两种方式：RDB（快照）和AOF（Append Only File）。RDB是在特定时间点生成数据库的完整快照，适合大规模数据恢复；AOF则记录所有写操作，保证数据的安全性，但可能导致...
Flask-And-Redis：简单易用，对Flask应用程序的Redis数据库完全没有支持
02-05
Redis则是一种开源的、高性能的键值存储系统，常用于缓存、消息队列和数据持久化等场景。`Flask-And-Redis` 是一个专门为Flask框架设计的扩展，目的是为了让Flask应用程序能够轻松地与Redis数据库进行交互。 **...
PyPI 官网下载 | redis-py-cluster-1.1.0.tar.gz
02-11
3. **数据持久化**：Redis-Py-Cluster支持Redis的数据持久化选项，如RDB快照和AOF日志，以保证数据在系统故障后的恢复。 4. **故障检测与恢复**：库内建了监控机制，可以检测到节点故障，并自动重定向请求到其他...
02-Redis持久化、主从与哨兵架构详解-ev.rar
03-08
02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构...
5116-微信小程序电影院订票选座系统设计及实现+ssm（源码+数据库+lun文）.zip
最新发布
09-15
本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。
JavaScript 中的 `Array.prototype.filter` 方法全解析
09-15
在 JavaScript 编程中，处理数组是一项基本而重要的任务。数组的过滤操作是其中的一个常见需求，Array.prototype.filter 方法为此提供了强大的支持。本文将深入探讨 Array.prototype.filter 方法的工作原理、使用场景、代码示例以及与其他数组方法的比较。 Array.prototype.filter 是 JavaScript 中处理数组的强大工具，它允许开发者以声明式的方式轻松筛选出符合特定条件的元素。通过结合使用 Array.prototype.filter 和其他数组方法，可以解决各种复杂的数据筛选问题。 通过本文的详细介绍和示例代码，你应该能够掌握 Array.prototype.filter 的工作原理，并能够在实际开发中灵活运用它来处理数组数据。此外，了解其与 Array.prototype.map 和 Array.prototype.reduce 的结合使用，可以帮助你更好地编写高效且易于维护的代码。
5108-微信小程序的书橱+ssm（源码+数据库+lun文）.zip
09-15
本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。
5046-微信小程序校园二手交易平台的小程序+ssm（源码+数据库+lun文）.zip
09-15
本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。
Redis演进与Redis-Cluster集群读写策略
"Redis架构的演变过程及其在高可用性方面的解决方案，特别是Redis-cluster的使用和优化策略。本文深入探讨了从基本的主从架构到哨兵模式，再到Redis-cluster的演进，同时介绍了Java客户端Jedis和Lettuce在处理Redis-...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值