Redis ----集群配置

已于 2024-06-28 17:16:15 修改
阅读量887 收藏 21
点赞数 18
文章标签： redis 数据库 缓存
于 2024-06-27 21:09:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39522074/article/details/140019984
版权

理论：

右侧是官网文档（Redis集群规范） http://redis.io/topics/cluster-spec

右侧是上文链接的翻译文档 http://redisdoc.com/topic/cluster-spec.html#cluster-spec

Redis集群槽点共有1638个，写入槽点随机分配。

主从分配原则：Redis集群由多个机器组成，每台机器上有多个Redis，在集群中，主从并不同属与一台服务器，随机且非同一台机器上的随机分配。

解决：建立布隆过滤器，缓存空对象，

缓存穿透：

在访问过程中发现访问内容缓存中没有，则会持续向数据库访问，访问量级过大时候容易造成数据库压力，

缓存击穿：

是指一个key非常热点，在不停的扛着大并发，大并发集中对这一个点进行访问，当这个key在失效的瞬间，持续的大并发就穿破缓存，直接请求数据库，就像在一个屏障上凿开了一个洞

雪崩

缓存雪崩是指，缓存层出现了错误，不能正常工作了。于是所有的请求都会达到存储层，存储层的调用量会暴增，造成存储层也会挂掉的情况。

解决：redis高可用，限流降级，数据预热

配置方法：

前置准备：

防火墙、selinux、时间 检查

机器准备，本次，以3台机器为列进行配置方法记录，一主一从进行配置（现实根据需求进行从库数量配置）。

机器端口
10.35.186.1206000
10.35.186.1206001
10.35.186.1336002
10.35.186.1336003
10.35.186.1346004
10.35.186.1346005

操作：

创建目录：

mkdir -p  /data

下载Redis：

 wget http://download.redis.io/releases/redis-5.0.10.tar.gz

解压和 重命名：

tar xzf redis-5.0.10.tar.gz -C /data/application/  | cd /data/application/ | mv redis-5.0.10/ redis-6000

下载编译工具，进行编译：

cd redis/

yum install -y gcc make &&make

编辑配置文件( /data/redis-6000/redis.conf)：

cd redis/

yum install -y gcc make &&make

编辑配置文件( /data/redis-6000/redis.conf)：

 #默认ip为

sed -i 's/bind 127.0.0.1/bind 0.0.0.0/'  /data/redis-6000/redis.conf

#端口

sed -i 's/port 6379/port 6000/'  /data/redis-6000/redis.conf

sed -i 's/protected-mode yes/protected-mode no/'  /data/redis-6000/redis.conf

sed -ir 's#pidfile "/var/run/redis_6379.pid"#pidfile "/var/run/redis_6000.pid"#'  /data/redis-6000/redis.conf

sed -ir 's#logfile ""#logfile "/var/log/redis-6000.log"#'  /data/redis-6000/redis.conf

#数据文件存放位置对应

sed -ir 's#dir ./ #dir /data/redis-6000/data#'  /data/redis-6000/redis.conf

#开启集群

sed -ir 's/# cluster-enabled yes/cluster-enabled yes/'  /data/redis-6000/redis.conf

集群配置信息，开启集群后自动生成

sed -ir 's/# cluster-config-file nodes-6379.conf/cluster-config-file nodes-6000.conf/'  /data/redis-6000/redis.conf

#请求超时时长 

sed -ir 's/# cluster-node-timeout 15000/cluster-node-timeout 500/'  /data/redis-6000/redis.conf

#开启aof日志，它会每次写操作都记录一条日志

sed -ir 's/appendonly no/appendonly yes/'  /data/redis-6000/redis.conf

#redis后台运行

sed -ir 's/daemonize no/daemonize yes/'  /data/redis-6000/redis.conf

sed -ir 's///'  /data/redis-6000/redis.conf

将redis-6000目录分别拷贝为对应的位置和名称

cp -r /data/redis-6000 /data/redis-6001

scp -r  /data/redis-6000 root@10.35.186.133: /data/redis-6002

scp -r  /data/redis-6000 root@10.35.186.133: /data/redis-6003

scp -r /data/redis-6000 root@10.35.186.134:/data/redis-6004

scp -r /data/redis-6000 root@10.35.186.134:/data/redis-6005

将各个路径下的配置文件--redis.conf文件中的6000改为对应的端口号码。

启动：

/data/redis-6000/src/redis-server /data/redis-6000/redis.conf

/data/redis-6000/src/redis-server /data/redis-6001/redis.conf

/data/redis-6002/src/redis-server /data/redis-6002/redis.conf

/data/redis-6002/src/redis-server /data/redis-6003/redis.conf

/data/redis-6004/src/redis-server /data/redis-6004/redis.conf

/data/redis-6004/src/redis-server /data/redis-6005/redis.conf

创建集群：

/data/redis-6000/src/redis-cli --cluster create --cluster-replicas 1 10.35.186.120:6000 10.35.186.120:6001 10.35.186.133:6002 10.35.186.133:6003 10.35.186.134:6004 10.35.186.134:6005

检验配置是否成功，查看主从和槽点数据：

[root@localhost data]# redis-6000/src/redis-cli -c -h 10.35.186.120 -p 6000
10.35.186.120:6000> ping
PONG
10.35.186.120:6000> cluster nodes
f0e85d41f2227cbd32105fd325aa3f952ae16b36 10.35.186.133:6002@16002 master - 0 1719491256019 3 connected 5461-10922
2ef8d861cbadc1015be5b09d110a5ec7478c461c 10.35.186.120:6001@16001 slave d44c41ed574e905181c70b6578d9c0e9b5218de6 0 1719491254000 5 connected
b355dfcb16115e0069cd007afda1e0652ec317ce 10.35.186.120:6000@16000 myself,master - 0 1719491254000 1 connected 0-5460
dd1ae2145a9c2fe1261b98351e421689ae0a2b63 10.35.186.134:6005@16005 slave f0e85d41f2227cbd32105fd325aa3f952ae16b36 0 1719491255517 6 connected
de45de85c9fe6221098981db867e9a58eb5728bd 10.35.186.133:6003@16003 slave b355dfcb16115e0069cd007afda1e0652ec317ce 0 1719491255000 4 connected
d44c41ed574e905181c70b6578d9c0e9b5218de6 10.35.186.134:6004@16004 master - 0 1719491255015 5 connected 10923-16383
10.35.186.120:6000>

添加新节点

添加主节点

添加新节点为主服

#10.36.192.251 7001 添加节点时登录的已经有节点的任意服务器的ip和端口
#10.36.192.195 7007 需要添加的节点的ip和端口
/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster meet 10.36.192.195 7007

刷新新添加的节点信息

/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster nodes

 如果添加主节点不成功，重置下数据。

#重置
/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.195 -p 7007 cluster reset
#重新添加集群
/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster meet 10.36.192.195 7007
#再次查看
/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster nodes
添加从节点：
#replicate后面这里指定的id为主的id
/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster meet 10.36.192.195 7008

刷新节点信息

/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster nodes

自动分配新槽点;

/data/application/redis-5.0.10/src/redis-cli --cluster rebalance --cluster-threshold 1 --cluster-use-empty-masters 10.36.192.251:7001
缩容

将主节点的槽位分配到其他节点

# --cluster-from 要缩容的主节点id
# --cluster-to 缩容之后的数据槽点分给哪一个master
# --cluster-slots 要缩容的主节点id的槽位数量
/data/application/redis-7005/src/redis-cli -c -h 10.35.186.114 -p 7005 --cluster reshard  10.35.186.136:8000 --cluster-from 09dde59e194a370968d8f2f08e88d2845e42c7b0 --cluster-to 76dffb52e340891c23f532ee6ca276a43ee2b64f --cluster-slots 5461

删除从节点（删除节点，必须先删除从节点，然后再删除主节点）

/data/application/redis-7005/src/redis-cli -c -h 10.35.186.114 -p 7006 --cluster del-node 10.35.186.114:7006 f8ce3f17f0549b26aadf014252b6018fb5b253ba

 删除主节点

/data/application/redis-7005/src/redis-cli -c -h 10.35.186.114 -p 7006 --cluster del-node 10.35.186.114:7006 09dde59e194a370968d8f2f08e88d2845e42c7b0

重新平均分配数据槽位

/data/application/redis-7005/src/redis-cli --cluster rebalance --cluster-threshold 1 --cluster-use-empty-masters 10.35.186.114:7005
删除集群

关闭集群服务，即关闭所有集群的服务器上的redis服务，

redis-cli -h 127.0.0.1 -p 7000 shutdown

删除以下文件：

appendonly.aof
dump.rdb
nodes-7000.conf

m -f ./*/nodes-*.conf ./*/appendonly.aof ./*/dump.rdb

操作完成，等于集群已经删除

安装报错解决

gem安装超时

解决gem install redis 因为网络问题造成连接超时的问题，把gem镜像换成国内源

[root@redis-cluster redis-Cluster]# gem sources -l
*** CURRENT SOURCES ***

https://rubygems.org/
[root@redis-cluster redis-Cluster]# gem sources --remove https://rubygems.org/
https://rubygems.org/ removed from sources
[root@redis-cluster redis-Cluster]# gem sources --add https://mirrors.tuna.tsinghua.edu.cn/rubygems/ 回车
https://mirrors.tuna.tsinghua.edu.cn/rubygems/ added to sources
[root@redis-cluster redis-Cluster]# gem sources -l
*** CURRENT SOURCES ***
https://mirrors.tuna.tsinghua.edu.cn/rubygems/

Ruby版本过低

[root@redis-cluster redis-Cluster]# gem install redis
Fetching: redis-4.0.1.gem (100%)
ERROR:  Error installing redis:
    redis requires Ruby version >= 2.2.2.

我这里CentOS7.5默认安装的Ruby版本为2.0，需升级为2.2.2以上（ruby -v),先安装RVM，用RVM升级Ruby

1、sudo yum install curl  安装curl
2、http://www.rvm.io/ 官网首页就可以看到 $ gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0E739499BDB
3、下载rvm  $ \curl -sSL https://get.rvm.io | bash -s stable 
4、查找配置文件 find / -name rvm.sh 
5、配置文件生效 source /etc/profile.d/rvm.sh 
6、下载rvm依赖 rvm requirements 
7、查看rvm库ruby版本 rvm list known
8、安装ruby指定版本 rvm install ruby-2.5.1
9、使用ruby版本默认 rvm use 2.5.1 default
10.gem install redis

创建集群报错

集群数据不为空，Node 192.168.100.21:7001 is not empty

[root@redis-cluster src]# ./redis-trib.rb create --replicas 1 192.168.100.21:7000 192.168.100.21:7001 192.168.100.21:7002 192.168.100.21:7003 192.168.100.21:7004 192.168.100.
21:7005>>> Creating cluster
[ERR] Node 192.168.100.21:7001 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

清空数据，在将每个节点下aof、rdb、nodes.conf本地备份文件删除 ，重新创建即可成功

Redis配置说明

Redis 的配置文件位于 Redis 安装目录下，文件名为 redis.conf，配置项说明如下：

  1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程

daemonize no

  1. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定

pidfile /var/run/redis.pid

  1. 指定Redis监听端口，默认端口为6379，

port 6379

  1. 绑定的主机地址

bind 127.0.0.1

5.当 客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能

timeout 300

  1. 指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose

loglevel verbose

  1. 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null

logfile stdout

  1. 设置数据库的数量，默认数据库为0，可以使用SELECT <dbid>命令在连接上指定数据库id

databases 16

  1. 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合

save

Redis默认配置文件中提供了三个条件：

save 900 1

save 300 10

save 60 10000

分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。

  1. 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大

rdbcompression yes

  1. 指定本地数据库文件名，默认值为dump.rdb

dbfilename dump.rdb

  1. 指定本地数据库存放目录

dir ./

  1. 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步

slaveof

  1. 当master服务设置了密码保护时，slav服务连接master的密码

masterauth

  1. 设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH <password>命令提供密码，默认关闭

requirepass foobared

  1. 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息

maxclients 128

  1. 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区

maxmemory

  1. 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no

appendonly no

  1. 指定更新日志文件名，默认为appendonly.aof

appendfilename appendonly.aof

  1. 指定更新日志条件，共有3个可选值： no：表示等操作系统进行数据缓存同步到磁盘（快） always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全） everysec：表示每秒同步一次（折衷，默认值）

    appendfsync everysec

  2. 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）

vm-enabled no

  1. 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享

vm-swap-file /tmp/redis.swap

  1. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0

vm-max-memory 0

  1. Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的 数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值

vm-page-size 32

  1. 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。

vm-pages 134217728

  1. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4

vm-max-threads 4

  1. 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启

glueoutputbuf yes

  1. 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法

hash-max-zipmap-entries 64

hash-max-zipmap-value 512

  1. 指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍）

activerehashing yes

  1. 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件

include /path/to/local.conf

redis高可用脚本：

#!/usr/bin/bash

# redis 集群环境初始化，单点多实例部署，没有把握不要修改以下默认配置

# redis 实例个数
instance=6
# redis 服务安装路径 /usr/local/redis
instance_path=/opt/module/
# redis 集群节点配置安装路径
cluster_path=${instance_path}redis-Cluster/
# redis 版本
redis_level=redis-4.0.10


ping -w1 -c1 www.baidu.com &>/dev/null
if [ $? -ne 0 ];then
	echo "网络错误，请检查网络"
	exit 1
fi

yum repolist &>/dev/null
if [ $? -ne 0 ];then
	echo "yum错误，请检查"
	exit 2
fi
yum install -y gcc make \
&& wget http://download.redis.io/releases/${redis_level}.tar.gz \
&& mkdir -p $instance_path \
&& tar xzf ${redis_level}.tar.gz -C $instance_path \
&& cd ${instance_path}${redis_level}/ && make \
&& make PREFIX=${instance_path}${redis_level}  install

cat >/etc/profile.d/redis.sh <<EOF
export  REDIS_HOME=${instance_path}${redis_level}
export  PATH=\$REDIS_HOME/bin:\$PATH
EOF

for i in `seq 1 $instance`
do
mkdir -p /opt/module/redis-Cluster/700${i}
cat >/opt/module/redis-Cluster/700${i}/redis.conf<<EOF
port 700${i}
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
daemonize yes
bind 0.0.0.0
pidfile  ${cluster_path}700${i}/redis_700${i}.pid
dir  ${cluster_path}700${i}/
EOF
${instance_path}${redis_level}/bin/redis-server ${cluster_path}700${i}/redis.conf
done

初步探索
关注
  • 18
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
redis配置集群
weixin_68193389的博客
10-27 2024
Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value时，redis 先对 key（有效值）使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。Redis 集群没有使用一致性hash, 而是引入了哈希槽的概念。集群中的每个节点负责处理一部分插槽。
Redis-Cluster集群搭建
01-17
Redis 集群搭建详解 Redis 集群搭建是指将多个Redis实例组合起来，以提高 Redis 的可用性...搭建 Redis 集群需要安装 Redis、Ruby 环境、Redis 的 Ruby 驱动、redis-trib.rb 集群工具等插件，并进行相应的配置和设置。
五、Redis 主从集群 —— 超详细操作演示！
weixin_43412762的博客
12-17 1955
对于Master宕机后的冷处理方式是无法实现高可用的。Redis 从 2.6 版本开始提供了高可用的解决方案Sentinel哨兵机制。在集群中再引入一个节点，该节点充当Sentinel哨兵，用于监视Master的运行状态，并在 Master 宕机后自动指定一个Slave作为新的Master。整个过程无需人工参与，完全由哨兵自动完成。不过，此时的Sentinel哨兵又成为了一个单点故障点：若哨兵发生宕机，整个集群将瘫痪。所以为了解决Sentinel的单点问题，又要为Sentinel创建一个集群，即。
Redis 集群详解及搭建过程
深圳市多克创新科技有限公司
10-16 2864
从3.0版本开始，redis具备了集群功能，实现了分布式、容错、去中心化等特性，在生产环境中对于保证数据一致性和安全性、提高系统响应能力都有着很必要的意义。 本文我们就来介绍 redis 集群的三种搭建模式和搭建方法。 目前Redis 7.0对其管理的几乎每个子系统都进行了多项改进，包括内存、计算、网络和存储
redis安装以及php扩展
agehbcdsg099276191的博客
04-24 77
redis安装以及php扩展 启动安装： http://elain.blog.51cto.com/3339379/705846 redis下载： https://github.com/nicolasff/phpredis/downloads 多台服务安装： http://www.vquickphp.com/?a=blogview&id=30 ...
Redis集群配置
最新发布
weixin_41199942的博客
07-31 52
1. Redis集群简介1.1 什么是Redis集群Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高整体性能和可靠性。根据搭建的方式和集群的特性，Redis集群主要有三种模式：主从复制模式（Master-Slave）、哨兵模式（S...
redis-5.0.8
05-24
在安全方面，Redis 5.0 强调了配置文件的安全性，增加了对密码过期策略的支持，以及对命令执行权限的控制。这使得管理员可以限制某些命令只能由特定的客户端执行，从而提高了系统的安全性。 Redis 5.0.8 版本作为 ...
tomcat-redis-session-manager
06-06
此外，为了确保高可用性，可以考虑在Redis集群上运行`tomcat-redis-session-manager`，这样即使某个Redis节点故障，session数据也不会丢失，服务仍能正常运行。 总的来说，`tomcat-redis-session-manager`是应对...
redis集群配置
02-12
redis自做文档，主要用途是自己看，以便于学习，毕竟不是一天都在公司
redis-cluster-operator:Redis Cluster Operator在Kubernetes上创建和管理Redis集群
05-03
部署样本Redis集群 扩展Redis集群 缩减Redis集群 备份还原 普罗米修斯发现 使用密码创建Redis集群 持续量 自定义配置 客户服务 自订资源 验证Webhook 端到端测试 先决条件 转到v1.13 +版本。 访问Kubernetes v...
redis-5.0.5集群部署.docx
10-07
- `cluster-config-file`：指定集群配置文件名，最好与端口对应。 - `cluster-node-timeout`：节点超时时间，单位毫秒。 - `appendonly yes`：启用 AOF 持久化。 - `requirepass` 和 `masterauth`：设置访问密码...
Redis的集群配置
xiaocaodeshengri的博客
10-23 640
redis集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展，据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)。redis集群的性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单 redis集群搭建 redis集群需要至少要三个master节点，我们这里搭建三个master节点，并且给每个master再搭建2.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值