twemprox代理redis三主三从集群

最新推荐文章于 2022-03-20 02:33:34 发布
最新推荐文章于 2022-03-20 02:33:34 发布
阅读量1k 收藏
点赞数
分类专栏： Redis/Codis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyl9527/article/details/94024654
版权

目录

1 机器规划

2 集群主从复制搭建

3 哨兵模式的主从切换

4. twemprox代理redis的集群

1 机器规划

192.168.52.128（wyl01）192.168.52.129（wyl02）192.168.52.130（wyl03）
主（128）端口：7000主（129）端口：7000主（130）端口：7000
从（130）端口：7001从（128）端口：7001从（129）端口：7001

 

设计思想：主从尽量不要在一台机器上，两个主也尽量不要在一台机器上。

2 集群主从复制搭建

前面的博客讲过很多次的redis部署，这里我们不再过多的讲细节，我们以一台机器的配置为例，如128机器redis的主从配置文件

[root@wyl01 conf]# pwd
/opt/redis/conf
[root@wyl01 conf]# cat redis7000.conf 
bind 192.168.52.128
port 7000
appendonly yes
save ""

timeout 3600
daemonize yes

pidfile "/opt/redis/pid/redis7000.pid"
logfile "/opt/redis/log/redis7000.log"
dir "/opt/redis/data/7000"

128机器上的从实例配置文件

[root@wyl01 conf]# pwd
/opt/redis/conf
[root@wyl01 conf]# cat redis7001.conf 
bind 192.168.52.128
port 7001
appendonly yes
save ""

timeout 3600
daemonize yes

pidfile "/opt/redis/pid/redis7001.pid"
logfile "/opt/redis/log/redis7001.log"
dir "/opt/redis/data/7001"

slaveof 192.168.52.130 7000   #这里注意是130机器上的从实例

按照上述配置内容和机器规划的方案，配置129机器和130机器，然后启动服务，我们以128机器为例

每台机器上都有上述2个redis服务，只是ip不一样。这里我们看一下128机器上主服务和主对应的129上的从服务

[root@wyl01 redis]# redis-cli -h 192.168.52.128 -p 7000
192.168.52.128:7000> info replication
# Replication
role:master
connected_slaves:1
# 符合机器规划中的129上7001端口的服务为128机器上主的从服务
slave0:ip=192.168.52.129,port=7001,state=online,offset=317069,lag=1
master_replid:30b48e139a569853674811c07527f04696679bb0
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:317215
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:317215

目前为止redis的主从复制集群搭建完成。但是要做到高可用的redis集群还需要进行哨兵模式的主从故障的自动切换。

 

3 哨兵模式的主从切换

哨兵模式的介绍，以及配置内容的解释，网上介绍的比较多，参考他人博客。

哨兵概念
哨兵概念

sentinel 的功能：

  1. 监控（Monitoring），sentinel 时刻监控着redis master-slave 是否正常运行
  2. 通知（Notification），sentinel 可以通过api 来通知管理员，被监控的redis master-slave 出现了问题
  3. 自动故障转移（Automatic failover），当redis master 出现故障不可用状态，sentinel 会开始一次故障转移，将其中一个 slave 提升为新的master ，将其他的slave 将重新配置使用新的master同步，并使用Redis的服务器应用程序在连接时收到使用新的地址连接
  4. 配置提供者（Configuration provider） ，sentinel 作为在集群中的权威来源，客户端连接到sentinel来获取某个服务的当前Redis主服务器的地址和其他信息。当故障转移发生时，Sentinel 会报告新地址。

sentinel.conf配置文件如下，将配置文件发送到其他的两台机器上，并启动服务

[root@wyl01 redis-4.0.11]# sed -n '/^[^#]/p' sentinel.conf 
port 26379
dir /tmp
sentinel monitor my1master 192.168.52.128 7000 1
sentinel monitor my2master 192.168.52.129 7000 1
sentinel monitor my3master 192.168.52.130 7000 1
sentinel down-after-milliseconds my1master 30000
sentinel down-after-milliseconds my2master 30000
sentinel down-after-milliseconds my3master 30000
sentinel parallel-syncs my1master 1
sentinel parallel-syncs my2master 1
sentinel parallel-syncs my3master 1
sentinel failover-timeout my1master 180000
sentinel failover-timeout my2master 180000
sentinel failover-timeout my3master 180000
sentinel deny-scripts-reconfig yes

启动哨兵服务，并查看进程（三台都要启动），我们以128机器为例

[root@wyl01 redis]# nohup redis-server sentinel.conf --sentinel &

启动完毕后，添加配置，当主从切换的时候，执行reconfig.sh脚本

[root@wyl01 redis]# redis-cli -p 26379 sentinel set my1master client-reconfig-script /opt/redis/reconfig.sh

[root@wyl01 redis]# redis-cli -p 26379 sentinel set my2master client-reconfig-script /opt/redis/reconfig.sh

[root@wyl01 redis]# redis-cli -p 26379 sentinel set my3master client-reconfig-script /opt/redis/reconfig.sh

故障演示：

我们随便停一台服务，比如停129上的主服务，那么正确的演示结果是：129上的主停了，130机器上从服务，会变成主服务。

上图我们可以看到，130机器上的7001端口的服务原先是129机器上7000端口对应的从实例，那么现在已经变成上图1标识的主服务，这里我们恢复129上的7000端口服务，我们可以看到上图中2标识的信息，他已经变成130机器上7001服务对应的从实例了。其实我们去看看配置文件发现哨兵服务已经对redis.conf配置文件做了修改。其他的验证操作这里就不再过多验证了。

至此，我们的redis哨兵模式三主三从已经算是搭建成功，那么又有一个新的问题来了，我们的客户端怎么来连这个集群呢？

 

4. twemproxy代理redis的集群

twemproxy的安装可先行安装，采用编译安装。参考博客，twemproxy的配置如下

[root@wyl01 nutcracker]# cat /etc/nutcracker/nutcracker.yml 
alpha:
  listen: 192.168.52.128:2222
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.52.128:7000:1
   - 192.168.52.129:7000:1
   - 192.168.52.130:7000:1

启动twemproxy服务

[root@wyl01 redis]# nutcracker -d -c /etc/nutcracker/nutcracker.yml

编写insert_redis.sh脚本，批量插入数据，查看数据的分布情况

!/bin/bash

for (( i=1;i<=500;i++ ))
do  
redis-cli -h 192.168.52.128 -p 2222 <<EOF 
   set wyl$i '$i'
EOF
done

执行上述脚本，发现数据被分布到了128，129，130三个机器上。且各个机器上的从服务和对应着的主服务上的数据是一样的。

注意：上述讲到redis的哨兵可以做到主从切换，那么这里如果采用twemproxy代理，servers一栏中写的是

servers:
   - 192.168.52.128:7000:1
   - 192.168.52.129:7000:1
   - 192.168.52.130:7000:1

当主从切换后，比如把128上的主服务停止，那么129上的7001端口的服务才是主服务，这时候如果用twemproxy连接redis，那么数据是写不到129的7001端口的服务。所以这时候还需要动态的修改和启动twemprox服务。当128的主redis服务挂了，再切换后，我们需要对上面的servers中的内容做如下修改

servers:
   - 192.168.52.129:7001:1
   - 192.168.52.129:7000:1
   - 192.168.52.130:7000:1

具体操作如下：

修改哨兵的配置文件修改sentinel  deny-scripts-reconfig  yes  为下面的值。（三台都要修改，修改完启动）

编写修改twemproxy的配置文件和启动指令，脚本名称为reconfig.sh

[root@wyl01 redis]# cat reconfig.sh 
#!/bin/sh

## <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>

monitor_name="$1"   
master_old_ip="$4"
master_old_port="$5"
master_new_ip="$6"
master_new_port="$7"

twemproxy_bin="/usr/local/sbin/nutcracker"
twemproxy_conf="/etc/nutcracker/nutcracker.yml"

## 将新的master 端口和ip 替换掉 twemproxy 配置文件中旧的master 信息
sed -i "s/${master_old_ip}:${master_old_port}/${master_new_ip}:${master_new_port}/" ${twemproxy_conf}

##kill nutcracker进程
killall nutcracker

${twemproxy_bin} -d -c ${twemproxy_conf}

[root@wyl01 redis]# chmod +x reconfig.sh

动态添加reconfig.sh到哨兵的监控脚本中，当发生主从切换的时候，就会执行reconfig.sh脚本

[root@wyl01 redis]# redis-cli -p 26379 sentinel set my1master client-reconfig-script /opt/redis/reconfig.sh 
OK
[root@wyl01 redis]# redis-cli -p 26379 sentinel set my2master client-reconfig-script /opt/redis/reconfig.sh 
OK
[root@wyl01 redis]# redis-cli -p 26379 sentinel set my3master client-reconfig-script /opt/redis/reconfig.sh 
OK

 停止128机器上端口7000的服务，查看主从关系是否发生变化，以及twemproxy服务是否修改配置文件以及重启

129机器上查看7001端口的从服务，发现已经变成了主服务了

查看twemproxy服务的配置

[root@wyl01 nutcracker]# cat nutcracker.yml 
alpha:
  listen: 192.168.52.128:2222
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.52.128:7000:1
   - 192.168.52.129:7000:1
   - 192.168.52.130:7000:1 
[root@wyl01 nutcracker]# 
[root@wyl01 nutcracker]# cat nutcracker.yml 
alpha:
  listen: 192.168.52.128:2222
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  server_retry_timeout: 1
  server_failure_limit: 1
  servers:
   - 192.168.52.129:7001:1   #发现已经发生改变
   - 192.168.52.129:7000:1
   - 192.168.52.130:7000:1

问题：这里哨兵的配置文件，里面也有关于脚本定义的配置，但是定义后启动总是失败，报错master name的问题，查看了也没什么问题，有知道的大牛，欢迎留言。

注意：当切换的时候发生报错，检查都没有问题的时候，注意是否有防火墙限制了。如果有防火墙，哨兵是访问不到有防火墙的那台redis服务。所以要开放端口。

FAQ:

在做压测的时候，出现一些错误，twemproxty (error) ERR Too many open files 是打开文件最大数的。可以在进程所能够打开的最大文件数，修改到65535即可，尽量大一点。

[root@wyl01 opt]# journalctl  _SYSTEMD_UNIT=nutcracker.service  --since "2019-07-10 15:33:00"  --until "2019-07-11 16:29:00"

Jul 10 16:53:09 wyl01 nutcracker[18794]: [2019-07-10 16:53:09.115] nc_server.c:489 socket for server '92.168.52.128:7000:1' failed: Too many open files

 

 

哨兵的配置文件和systemd管理的服务

port 26379
dir /tmp
sentinel monitor my1master 10.10.11.11 7100 1
sentinel auth-pass my1master 123456

sentinel monitor my2master 10.100.11.12 8100 1
sentinel auth-pass my2master 123456

sentinel monitor my3master 10.100.11.13 8101 1
sentinel auth-pass my3master 123456


sentinel down-after-milliseconds my1master 30000
sentinel down-after-milliseconds my2master 30000
sentinel down-after-milliseconds my3master 30000
sentinel parallel-syncs my1master 1
sentinel parallel-syncs my2master 1
sentinel parallel-syncs my3master 1
sentinel failover-timeout my1master 180000
sentinel failover-timeout my2master 180000
sentinel failover-timeout my3master 180000
sentinel deny-scripts-reconfig yes

systemd管理服务


[Unit]
Description=Redis Sentinel
After=network.target

[Service]
ExecStart=/usr/bin/redis-sentinel /data/sentinel/conf/sentinel.conf --supervised systemd
ExecStop=/usr/bin/redis-cli -h 10.10.11.11 -p 26379 -a 123456  shutdown
Type=notify
User=root
Group=root
RuntimeDirectoryMode=0755
LimitNOFILE=10240

[Install]
WantedBy=multi-user.target

 

 

 

wyl9527
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redisson 三种集群部署模式使用
skystep的博客
09-22 4651
Redis 常见四种部署模式：单机部署、主从模式部署、sentinel 部署模式、分片模式，针对不同场景一般选择不同的集群部署模式。而 redisson 单机部署针对不同的部署模式分别提供了不同的 API 以统一操作。
阿里云环境使用redisson分布式锁产生线上问题
tomcat的博客
03-30 5927
一、问题与背景： 非线上环境使用的redis架构是集群，并且直连各个节点，而线上环境使用的是阿里云redis集群代理模式。在非线上环境使用redisson作为分布式锁解决方案是正常的，而线上环境则会报ERR unknown command 'WAIT'的错误。由于目前尝试使用redisson实现分布式锁的时候出现无法执行WAIT命令（实际分布式锁命令是执行成功的，只是3.14.1及之后的redisson版本会报未知WAIT命令的错误，见下面的原因解释）。 二、原因： 经排查，发现是由于使.
6.深入分布式缓存:从原理到实践 --- Memcached 周边技术
enlyhua的专栏
10-19 217
1.Twemcache Twemcache(发音 "two-em-cache")是Twitter Memcached的缩写，是Twitter研发团队根据Memcached v1.4.4 开发。 2.Twemproxy Twemproxy 也是Twitter的一个开源项目，是一个单线程代理程序，支持memcached的ASCII协议和Redis协议。Twemproxy 使用C语言编写，T...
【Redis代理】- Twemproxy，不来了解一哈?
Java领域博主
03-20 1567
Twemproxy实战(详细图文)·（建议收藏）
聊聊Twemproxy是什么
__技术分享__部落格
01-14 1万+
最近看了京东的一些技术，发现京东中使用较多的，技术是nginx+redis+lua ， 还有一种常用的就是 Twemproxy，这个东西是干什么的呢,根据名字可以看出它是一个代理的中间件。 Twemproxy介绍 Twemproxy 也叫 nutcraker。是 Twtter 开源的一个 Redis 和 Memcache 代理服务器，主要用于管理 Redis 和 Memcach
redis集群 三主三从模式
11-02
傻瓜式的redis集群创建，里面附有word安装文档，需要docker环境，已经docker-compose环境，文件直接放在服务器上，然后解压，最后修改下ip直接运行
redis从安装到三主三从集群_redis_redis三主三从_
09-29
redis从安装到三主三从集群，帮助学习Redis！！！！！！！！！
redis一主两从三哨兵.docx
11-07
redis一主两从三哨兵加集群。
redis6.2.6三主三从集群部署
08-03
生产环境redis高可用部署
Centos7 三台主机（配置三主三从）Redis分布式集群
12-20
Centos7 分布式集群部署，安装、创建服务、配置集群、启动集群、测试
Twemproxy的部署和配置详解
mischen520的博客
06-29 4505
Twemproxy 概述 Twemproxy（又称为nutcracker）是一个轻量级的Redis和Memcached代理，主要用来减少对后端缓存服务器的连接数。Twemproxy是由Twitter开源出来的缓存服务器集群管理工具，主要用来弥补Redis/Memcached 对集群（cluster）管理的不足。 antirez（Redis作者）写过一篇对twemproxy的介绍，他...
Redis 高可用： twemproxy实现缓存服务器分片集群
11-27 4740
Twemproxy 又称 nutcracker ，是一个memcache、redis协议的轻量级代理，一个用于sharding 的中间件。有了Twemproxy，客户端不直接访问Redis服务器，而是通过twemproxy 代理中间件间接访问。
使用Twemproxy搭建redis服务器集群
tqy的博客
04-26 2977
Redis集群搭建的目的其实也就是集群搭建的目的，所有的集群主要都是为了解决一个问题，横向扩展。使用proxy就可以实现。 源码：https://github.com/twitter/twemproxy 1. 首先，选一台安装了zookeeper的机器。 2. 这里不讲解如何安装zookeeper。将twemproxy-master解压到目录/data下。 3. 修改proxy配置v
Twemproxy
breaknull的专栏
08-15 1266
概述 twemproxy(发音"two-em-proxy")，是一个memcached和redis协议的快速而轻量级的代理。它的建立主要是减少后端缓存服务器上的连接。基于这一点，协议流水线和分片一起使你能够水平缩放你的分布式缓存架构，它最大的特性和优势就是可以水平缩放分布式缓存架构，如果你的应用内存数据量会不断增加且较大，强烈建议使用它。 注意：因为做了分片，所以有一些命令是不支持的，
Twitter开源库Twemcache分析
yoyo的专栏
08-23 8473
Twemcache(发音: “two-em-cache”)，是twitter公司使用的内存缓存技术，在2012.7.17号向github提交了twitter定制过的memcached，命名为twemcache；并在上周其官网首次出现了对twemcache的介绍。       与memcache相比，twemcache更轻便，定制性更强，无论从代码结构还是模块设计，都是很优雅的。       源
twemproxy的安装及集群搭建
小浪与艳花
08-08 478
linux环境-redis代理twemproxy的安装安装twemproxy1、下载redis代理源码到本地2、安装3、集群搭建安装过程中报错及解决1、 报错：`http request failed`2、报错：configure.ac:8: error: Autoconf version 2.64 or higher is required 安装twemproxy 安装参考github源码安装：github~twemproxy 需要留意的如下图： 1、下载redis代理源码到本地 cd soft/ m
Redis+Twemproxy+HAProxy集群
热门推荐
shmilychan的博客
06-18 1万+
Redis
twemproxy-内存管理机制
Updating!
04-08 654
官方对内存管理方面介绍如下： 在twemproxy中，请求进入和响应输出的所有内存都在mbuf中进行分配。mbuf启用零拷贝，因为客户端接收请求使用到的内存结构，后端服务器可以复用。同样，从服务器端接收响应时使用的mbuf，也可在客户端复用。 此外，使用重用池管理mbuf的内存。这就是说：一旦分配了mbuf，它就不会被释放，而只是重新进入重用池。默认情况下，每个mbuf块的大小设置为16K。在mb...
一致性哈希之应用twemproxy与codis
chenglinhust的专栏
03-08 2671
一致性哈希之应用twemproxy与codis一.  twemproxytwemproxy 是 twitter 开源的一个轻量级的后端代理，兼容 redis/memcache 协议，可用以管理 redis/memcache 集群。                       twemproxy 内部有实现一致性哈希算法，对于客户端而言，twemproxy 相当于是缓存数据库的入口，它无需知道后端的...
redis三主三从集群
最新发布
06-06
Redis三主三从集群是一种高可用性的分布式系统架构，其中有三个Redis实例作为主节点，另外三个Redis实例作为从节点，用于复制主节点的数据。当主节点发生宕机或故障时，从节点会进行选举，选举出一个新的主节点来接管工作，以保证系统的可用性。 在Redis三主三从集群中，每个实例都有自己的复制品，这些复制品通过异步复制的方式将主节点上的数据复制到从节点上。当主节点发生故障时，从节点会尝试与其他从节点进行协商，选择一个新的主节点来接管工作。这个过程通常需要一些时间来完成，但是在完成之后，集群将恢复正常的工作状态。 需要注意的是，在Redis三主三从集群中，每个节点的配置都需要进行调整，以确保它们能够良好地协同工作。此外，集群中的每个节点都需要监控，以确保它们的正常运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值