redis-cluster集群安装及数据迁移

最新推荐文章于 2023-07-04 11:57:35 发布
最新推荐文章于 2023-07-04 11:57:35 发布
阅读量226 收藏
点赞数
文章标签： 数据库 前端 后端 ViewUI
原文链接：http://blog.51cto.com/10158955/2431317
版权

备注：图片因为格式都没有显示，本身是都有的，这里的IP 是随便写了个10.168.0.0代替所有需要用的IP。
Redis集群介绍
Redis真的是一备注：图片因为格式都没有显示，本身是都有的，这里的IP 是随便写了个10.168.0.0代替所有需要用的IP。个优秀的技术，它是一种key-value形式的NoSQL内存数据库，由ANSI C编写，遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 Redis最大的特性是它会将所有数据都放在内存中，所以读写速度性能非常好。Redis是基于内存进行操作的，性能较高，可以很好的在一定程度上解决网站一瞬间的并发量，例如商品抢购秒杀等活动。
网站承受高并发访问压力的同时，还需要从海量数据中查询出满足条件的数据，需要快速响应，前端发送请求、后端和mysql数据库交互，进行sql查询操作，读写比较慢，这时候引入Redis ,把从mysql 的数据缓存到Redis 中，下次读取时候性能就会提高；当然，它也支持将内存中的数据以快照和日志的形式持久化到硬盘，这样即使在断电、机器故障等异常情况发生时数据也不会丢失，Redis能从硬盘中恢复快照数据到内存中。
Redis 发布了稳定版本的 5.0 版本，放弃 Ruby的集群方式，改用 C语言编写的 redis-cli的方式，是集群的构建方式复杂度大大降低。Redis-Cluster集群采用无中心结构，每个节点保存数据和整个集群状态，每个节点都和其他所有节点连接。

为了保证数据的高可用性，加入了主从模式，一个主节点对应一个或多个从节点，主节点提供数据存取，从节点则是从主节点拉取数据备份，当这个主节点挂掉后，就会有这个从节点选取一个来充当主节点，从而保证集群不会挂掉。

redis-cluster投票:容错，投票过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉。

集群中至少应该有奇数个节点，所以至少有三个节点，每个节点至少有一个备份节点，所以下面使用6节点（主节点、备份节点由redis-cluster集群确定）。6个节点分布在3台机器上，采用三主三从的模式。比如说6个节点分布到3台机器上，redis在建立集群时为自动的将主从节点进行不同机器的分配。
参考文档：
https://www.jianshu.com/p/d5ca031289ad
https://blog.csdn.net/zhanaolu4821/article/details/95060198

安装
一：下载源码redis5.0.0并解压编译
基础配置（每台都相同）
cd /opt/
wget http://download.redis.io/releases/redis-5.0.0.tar.gz
tar xzf redis-5.0.0.tar.gz
mv redis-5.0.0 /data/
cd /data/redis-5.0.0/
make
make install

创建集群目录及相应目录
mkdir -p /data/{10000,10001}
mkdir -p /data /{10002,10003}
mkdir -p /data /{10004,10005}
复制配置文件到各个目录
cp /data/redis-5.0.0/redis.conf /data /10000/
cp /data/redis-5.0.0/redis.conf /data /10001/
cp /data/redis-5.0.0/redis.conf /data /10002/
cp /data/redis-5.0.0/redis.conf /data /10003/
cp /data/redis-5.0.0/redis.conf /data /10004/
cp /data/redis-5.0.0/redis.conf /data /10005/

修改配置文件
bind 10.40.0.0 #这里的bind指的是只有指定的网段才能远程访问这个redis，注释掉后，就没有这个限制了。
protected-mode yes #非保护模式
port 10000 #修改端口
dir /data/10000
cluster-enabled yes #设置启用集群模式
cluster-config-file /data/10000/nodes.conf ＃集群的配置 配置文件首次启动自动生成
cluster-node-timeout 5000 #集群节点超时时间 5秒
appendonly yes #设置开启AOF模式
timeout 0
tcp-keepalive 300
supervised no
daemonize yes #设置后台运行
maxmemory 128GB
maxmemory-policy volatile-lru
#集群下只支持单数据库，这个配置需要注意
#databases 16
dir /data/10000/ #指定数据存放路径，
pidfile /data/10000/redis.pid #pid指定路径
logfile /data/10000/redis.log #log指定日志路径

加密设置
#masterauth 123456
#requirepass 123456

启动
/data/redis-5.0.0/src/redis-server /data/10000/redis.conf
/data/redis-5.0.0/src/redis-server /data/10001/redis.conf
/data/redis-5.0.0/src/redis-server /data/10002/redis.conf
/data/redis-5.0.0/src/redis-server /data/10003/redis.conf
/data/redis-5.0.0/src/redis-server /data/10004/redis.conf
/data/redis-5.0.0/src/redis-server /data/10005/redis.conf
查看服务

创建redis集群
无密的
redis-cli --cluster create 10.40.0.0:10000 10.40.0.0:10001 10.40.0.0:10002 10.40.0.0:10003 10.40.0.0:10004 10.40.0.0:10005 --cluster-replicas 1
有密码的
redis-cli --cluster create 10.40.0.0:10000 10.40.0.0:10001 10.40.0.0:10002 10.40.0.0:10003 10.40.0.0:10004 10.40.0.0:10005 --cluster-replicas 1 -a 123456

查看redis集群状态
redis-cli -h 10.40.0.0 -c -p 10000
auth 123456 #设置密码的时候等会需要密码验证
查看集群
cluster info

查看主从节点

修改主从
REPLICAOF host port
删除后来指定的master，让server成为master
起始版本：5.0.0
命令REPLICAOF 可以在线修改当前服务器的复制设置
如果当前服务器已经是副本服务器，命令REPLIACOF NO ONE 会关闭当前服务器的复制并转变为主服务器。执行 REPLIACOF hostname port 会将当前服务器转变为某一服务器的副本服务器
如果当前服务器已经是某个主服务器(master server)的副本服务器，那么执行 REPLICAOF hostname port 将使当前服务器停止对原主服务器的同步，丢弃旧数据集，转而开始对新主服务器进行同步
对一个副本服务器执行命令 REPLICAOF NO ONE 将使得这个副本服务器关闭复制，并从副本服务器转变回主服务器，原来同步所得的数据集不会被丢弃。因此，当原主服务器停止服务，可以将该副本服务器切换为主服务器，应用可以使用新主服务器进行读写。原主服务器修复后，可将其设置为新主服务器的副本服务器。

RedisCluster集群之动态增删节点,及分槽点
参考文档
https://blog.csdn.net/weixin_33953384/article/details/91943588

redins移槽点(redis3版本)
从10.208.10.0:7018 移动到 10.208.0.0:7011

查看信息
./redis-trib.rb info 10.208.0.0:7018

移动槽点
./redis-trib.rb reshard 10.208.0.0:7018

选择移动key 的数量

选择移动到的目标ID节点

选择需要移动的ID节点

输入yes

之后就会去移动

查看是否成功
./redis-trib.rb info 10.208.0.0:7018

Redis集群
https://www.cnblogs.com/aquester/p/10916284.html

Redis集群配置参数及优化
https://blog.csdn.net/weixin_42018518/article/details/88805338

RedisCluster集群之动态增删节点
https://blog.csdn.net/weixin_33953384/article/details/91943588

Redis数据迁移（3版本到3版本）
http://linuxeye.com/472.html

Redis数据迁移（3版本到5版本）
https://blog.csdn.net/u010522235/article/details/89239965

biaojian4425
关注
docker-redis-cluster集群安装
02-22
【标题】：Docker Redis Cluster集群安装指南 在IT行业中，Redis被广泛用作高性能的内存数据存储，常用于数据库、缓存以及消息代理。而Redis Cluster是Redis的一个分布式解决方案，能够提供高可用性和可扩展性。本...
redis cluster数据迁移
y_zilong的博客
11-05 1483
1、首先确定集群状态，搭建new redis cluster请看前面的文章 集群1迁移集群2 集群模式：1 192.168.121.17:7001, 192.168.121.17:7002, 192.168.121.18:7003, 192.168.121.18:7004, 192.168.121.19:7005, 192.168.121.19:7006 集群模式：2 10.192.64.29:7001, 10.192.64.29:7002, 10.192.64.30:7003, 10.1
redis 备份和恢复 ：redis-dump安装与导出redis数据
大树叶 技术专栏
07-02 3928
这里说下redis-dump的安装和简单使用 一、安装redis-dump redis-dump安装的时候一般都会遇到下面的错误： ERROR: Error installing redis-dump: redis requires Ruby version >= 2.2.2. 所以这里我直接按照解决方案来安装redis-dump. 1、安装rvm: # gpg...
Redis-Cluster数据迁移之redis-shake（集群到集群）
于琦海
06-01 2989
Redis-Cluster数据迁移之redis-shake（集群到集群） 背景 在项目的实施过程中，由于有dev环境和pro环境，这时会有两个redis集群，但是部分数据从甲方的三方数据库中获取存入生产环境的redis集群中，为了方便测试和数据校验，需要将生产redis集群的各节点数据同步到测试环境的redis集群中，最好能实时的同步增量数据。 方案 写一个多数据源的redis项目，从一个redis集群读出来写到另外一个redis集群。PASS(太蠢了) AOF，RDB直接COPY。PASS(
redis 清空缓存_redis简单安装学习
weixin_39663729的博客
11-24 238
redis 介绍Redis是noSql也就是非关系型数据库，可以用来做缓存，缓存就是在内存中存储的数据备份，当数据没有发生本质改变的时候，我们就不让数据的查询去数据库进行操作，而去内存中取数据，这样就大大降低了数据库的读写次数，而且从内存中读数据的速度比去数据库查询要快一些，这样同时又提高了效率。一、redis单实例搭建1. 下载redis-5.0.4.tar.gz(最新稳定版本)2. 解压源码进...
2021-12-15 [redis] cluster集群数据导出及备份策略
悟世之路
12-15 2253
摘要: redis的cluster集群数据按槽位存储, 本文记录如何将全部数据导出. 使用第三方工具; redis-dump 安装redis-dump: yum install ruby rubygems ruby-devel -y gem install redis-dump
Redis集群数据迁移操作文档
06-29
实际迁移过程中，我们以两个场景为例：一是从一个Redis集群（Cluster_A）迁移到另一个Redis集群（Cluster_B），二是从Redis集群（Cluster_A）迁移到单个Redis实例（Redis_C）。在迁移前，务必先检查源和目标Redis...
redis-cluster集群配置.zip
03-23
Redis Cluster是Redis官方提供的分布式解决方案，它通过分片（sharding）技术将数据分散存储在多个节点上，实现了数据的高可用性和可扩展性。在本压缩包中，你将找到关于配置Redis Cluster的详细步骤和相关文件。...
redis-cluster.cr：Crystal的redis-cluster库
02-05
而Redis Cluster是Redis的一个特性，它提供了一种在多个节点之间分发数据的机制，从而实现高可用性和可扩展性。Redis Cluster不需要外部负载均衡器，因为它在内部管理数据分布和故障转移。 **水晶（Crystal）语言...
redis-cluster 升级测试
最新发布
07-02
综上所述，通过对Redis Cluster进行详细的升级测试，可以有效评估升级过程中的风险点，确保生产环境的稳定性和数据安全性。此外，通过对各种特殊场景的测试，如大数据量下的主从切换和大量写入情况下的主从同步性能...
redis 支持 json_Redis数据迁移利器之redisshake
weixin_39609166的博客
11-26 253
“当需要进行Redis实例或集群数据迁移时，我们可以采用导出/导入的方式进行数据迁移，但当需要做数据异地灾备或双活时，再使用传统的方式就不合适了，我们需要借助工具(如redis-port/redis-shake)来完成。”redis-shake介绍redis-shake就是一款非常好用的工具，可以支持备份、恢复、解析、同步等功能，主要的功能有：decode，对RDB文件进行读取，并以js...
Redis数据库备份、迁移、恢复实践
m0_67900727的博客
03-14 4319
备份容灾 一、备份 1.手动备份redis数据库 #!/bin/bash # 方式1.通过redis-cli内置命令将内存中的数据存储到rdb文件中 echo "auth 123456\nping\nsave\n" | redis-cli -h 127.0.0.1 -p 6379 echo "auth 123456\nping\nbgsave\n" | redis-cli -h 127.0.0.1 -p 6379 # 方式2.将远程主机Redis-Server中存储的数据保存到本地/tmp/bac
高并发，性能优化，redis集群搭建和数据备份
远行的博客
05-10 781
文章目录高并发 高并发 adsjfdsakl;
redis导入导出+elasticsearch集群搭建
Francis的博客
01-30 556
redis导入导出+elasticsearch集群搭建1.redis导入与导出1.1 安装 rubysudo apt-get install ruby ruby-dev 1.2 安装re...
Redis Cluster 集群扩容、数据迁移
不忘初心，方得始终
02-28 7570
1、集群扩容 2、添加新节点作为副本 3、删除节点 4、副本迁移 5、redis集群节点版本升级 6、迁移到redis集群 7、手动故障转移 8、集群缩容 官方文档：Redis cluster tutorial – Redis 1、集群扩容 操作流程如下：基于ansible-playbook来操作 1、禁用掉ip.txt中init_cluster组，将server组的ip替换成要扩容节点的物理机ip地址 2、根据原来集群的配置，修改vars/vars.yal的配置文件；执行an
【Redis】Redis Cluster-集群数据迁移
S-H_A-N
06-21 3026
Redis通过对KEY计算hash，将KEY映射到slot，集群中每个节点负责一部分slot的方式管理数据，slot最大个数为16384。 在集群节点对应的结构体变量clusterNode中可以看到slots数组，数组的大小为CLUSTER_SLOTS除以8，CLUSTER_SLOTS的值是16384： clusterStateclusterNode里面保存了节点相关的信息，集群数据迁移信息并未保存在clusterNode中，而是使用了clusterState结构体来保存： clusterState与cl
Redis的数据分片和数据备份机制是怎样的？Redis如何实现分布式锁？Redis是否支持主从复制？如何配置主从复制？如何保证Redis的高可用性？
luoluoal的博客
07-04 792
每个主节点都可以有多个从节点，主节点负责处理写请求，并将写操作的命令发送给所有从节点进行备份。当主节点发生故障或者下线时，从节点可以提升为新的主节点，保证数据的可用性和持久性。可以将多个Redis节点组成一个集群，数据会被分散存储在不同的节点上，实现数据的分布和负载均衡。需要注意的是，主从复制是异步的，主节点将数据推送给从节点，但从节点可能会存在一定的延迟。可以配置多个Sentinel实例，它们会监控Redis的主节点和从节点，并在主节点宕机时自动将从节点升级为主节点，保证系统的可用性。
redis-cluster 集群搭建和迁移（一）
u012954380的博客
11-11 560
最近给公司搭建了一个redis-cluster集群，把原来的单实例的数据迁移到了集群上，踩了一些坑，记录一些 使用的redis 版本是5.0.5 操作系统 centos7 安装redis-cluster集群需要ruby环境，centos7 yum 源中的ruby 版本太低，不能安装redis,所以必须离线安装。我选择的版本是2.5.3 一.安装ruby wget https:...
redis cluster集群架构详解（十一）- 数据迁移
二总的猫
03-11 1032
5.4. 数据迁移 当槽x从Node A向Node B迁移时，Node A和Node B都会有这个槽x，Node A上槽x的状态设置为MIGRATING，Node B上槽x的状态被设置为IMPORTING。 MIGRATING状态： 1、如果key存在则成功处理。 2、如果key不存在，则返回客户端ASK，客户端根据ASK首先发送ASKING命令到目标节点，然后发送请求的命令到目标节点 3、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值