【Redis】Redis集群模式搭建...爬坑日记

最新推荐文章于 2024-09-14 00:14:58 发布
最新推荐文章于 2024-09-14 00:14:58 发布
阅读量310 收藏
点赞数 1
分类专栏： Linux 文章标签： redis linux centos shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HuHui_/article/details/83686562
版权

文章目录

Note

说好的更新大数据…

抱歉，加班去搞了个redis集群…

我把搞redis踩的坑都给你们说一下…

BigData 和 微服务 后续更新

小编昨晚搞到晚上3点… 给点面子… 转载请注明作者~

写代码跟炒菜差不多。先准备好所有的东西，知识，材料就像菜一样，准备好了再去慢慢炒菜。一开始不好吃，练习练习着会越来越有味道。并且是带着自己味道的菜。

爬坑准备

  1. Redis-3.2.12 源码包
  2. Ruby 2.2.2以上
  3. RubyGems
  4. 三台互通主机
  5. centos-release-7-5.1804.el7.centos.x86_64.rpm
  6. wget-1.14-15.el7_4.1.x86_64.rpm

踩过的坑

小编Linux不太好…所以还没深究太多，

这些坑只是表面现象。

很有可能是我自己没配置好。

  1. 我安装的centos7.4 minimal，没安装好…
  2. yum仓库失效…
  3. weg命令minimal里面没有…
  4. make install 编译有坑…
  5. Node 192.168.31.60:7000 is not empty
  6. You need tcl 8.5 or newer in order to run the Redis test

Core - Code

  • 准备三台主机

  • 创建好用户redis，密码（账号，安装路径自己根据习惯）

    $ useradd redis
$ passwd redis

  • 进入安装目录上传redis源码包上去，并解压

    $ cd /home/redis
$ tar -zxvf redis-3.2.12.tar.gz

  • 创建文件夹存放配置等文件(后面看配置文件会一一对应这些文件夹)

    # 用于存放后面一些配置文件
$ mkdir local
$ cd local
$ mkdir redis-3.2.12
$ cd redis-3.2.12
# 创建..创建..创建..
$ mkdir pid
$ mkdir redis-cluster
$ mkdir sbin

  • 编译一下源码

    $ cd /home/redis/redis-3.2.12/src
$ make install PREFIX=/home/redis/local/redis-3.2.12/sbin/

  • 创建配置文件

    # 端口作为文件夹名字
$ mkdir /home/redis/local/redis-3.2.12/redis-cluster/{7000,7001,7002}
# 进入每个文件夹创建配置文件 7000为例
$ cd /home/redis/local/redis-3.2.12/redis-cluster/7000
# 方法一自己创建redis.conf文件 好处:没那么多注释，容易看
$ touch redis.conf
$ vi redis.conf
# 方法二cp官方给的配置文件 (推荐) 好处: 防止自己配置错,官方就是官方
$ cp /home/redis/redis-3.2.12/redis.conf /home/redis/local/redis-3.2.12/redis-cluster/7000/
$ vi /home/redis/local/redis-3.2.12/redis-cluster/7000/redis.conf
# 在vim下用/找到配置然后修改

  • vi redis.conf 写入（修改）以下内容

    # 端口7000,7001,7002，与目录对应
port 7000   
#默认ip为127.0.0.1，需要改为其他节点机器可访问的ip，否则创建集群时无法访问对应的端口，无法创建集群
bind 192.168.31.60
#redis后台运行
daemonize yes   
#开启集群
cluster-enabled yes 
#集群的配置，配置文件首次启动自动生成 7000，7001，7002  
cluster-config-file nodes_7000.conf  
#请求超时，默认15秒，可自行设置
cluster-node-timeout 8000  
#开启aof持久化模式，每次写操作请求都追加到appendonly.aof文件中
appendonly yes  
#每次有写操作的时候都同步
appendfsync always 
#redis服务日志
logfile "/home/redis/local/redis-3.2.12/pid/redis.log"
#pidfile文件对应7000，7001，7002
pidfile /home/redis/local/redis-3.2.12/pid/redis_7000.pid

  • 编写启动节点（集群模式）脚本

    $ cd /home/redis/local/redis-3.2.12/sbin/bin/
$ vi start-redis.sh

  • 脚本内容

    for((i=0;i<3;i++)); 
do /usr/local/bin/redis-server /home/redis/local/redis-3.2.12/redis-cluster/700$i/redis.conf; 
done

  • 启动脚本

    $ sh start-redis.sh

  • 查看进程和端口监听

     #查看是否启动成功
$ ps -ef | grep redis  
#可以看到redis监听端口
$ netstat -tnlp | grep redis

  • 另外两台主机

    # 创建用户，设置密码这些都一样
$ scp -r /home/redis/local 192.169.31.61@redis:/home/redis
$ scp -r /home/redis/local 192.169.31.62@redis:/home/redis

  • 需要修改的地方 redis.conf

    # redis.conf 
# 61 主机
bind 192.168.31.61
# 62 主机
bind 192.168.31.61
# 7000端口，文件名等对应修改

  • 启动集群

    # 在其中一台主机 我在192.168.31.60
$ /home/redis/redis-3.2.12/src/redis-trib.rb create --replicas 1 192.168.31.60:7000 192.168.31.60:7001 192.168.31.60:7002 192.168.31.61:7000 192.168.31.61:7001 192.168.31.61:7002 192.168.31.62:7000 192.168.31.62:7001 192.168.31.62:7002

    SUCCESSFUL

爬坑日志

  1. 执行make install的时候报错

    /bin/sh: cc: command not found 
make[1]: *** [adlist.o] Error 127

    原因：

    redis用C语音写的，Linux系统没有安装GCC编译组件

    解决：

    $ yum install -y gcc g++ gcc-c++ make

  2. make test 失败缺少tcl 8.5 以上版本

    解决：

    $ yum install tcl

  3. make install 失败，/usr/local/redis/redis-server no permissions

    # 使用redis账号,没权限访问该目录
# 不推荐install在这里，管理好自己的文件夹，指定自己文件夹路径
$  make install PREFIX=/home/redis/local/redis-3.2.12/sbin/

  4. weg命令在centos 7.4 minimal里面没有

    #这里很简单，但是当时发现了yum无法使用 引发下面坑5
$ yum install wget

  5. yum仓库失效

    我可能捣鼓的不一定对，但是后来yum弄好了，主要归功这篇文章。https://blog.csdn.net/shaoqiufeng/article/details/78785806，大家可以参考一下

    # rpm 找到自己需要的包下载
http://mirrors.163.com/centos/
# 下载内容（对应自己系统）
centos-release-7-5.1804.el7.centos.x86_64.rpm
# backup 
$ mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
# 执行命令
$ rpm -ivh  centos-release-7-5.1804.el7.centos.x86_64.rpm 
# 如果报freely redistributed under the terms of the GNU GPL 
$ rpm -ivh  centos-release-7-5.1804.el7.centos.x86_64.rpm --nodeps  --force
$ rpm -ivh yum-*
$ yum clean all
$ yum makecache

  6. 启动集群失败，Node 192.168.31.60:7000 is not empty

    原因：

    redis服务器会读取node.conf,dump.rdb,appendonly.aof这些文件

    分别是节点信息，持久化的数据，持久化操作一些操作的日志用于系统持久化数据恢复到内存。

    解决方案：

    $ cd /home/redis/local/redis-3.2.12/sbin/bin
$ rm *.conf 
$ rm *.aof
$ rm *.rdb
$ /home/redis/redis-3.2.12/src/redis-trib.rb create --replicas 1 192.168.31.60:7000 192.168.31.60:7001 192.168.31.60:7002 192.168.31.61:7000 192.168.31.61:7001 192.168.31.61:7002 192.168.31.62:7000 192.168.31.62:7001 192.168.31.62:7002

总结

遇到问题就查。哪怕不知道为什么可以这样解决，先记录下来吧。

我的博客为的是自己进步，也为帮别人解决问题。

欢迎随时交流。

linux操作系统多学点。

学习不是Ctrl+C+V

转载注明一下，尊重下作者，谢谢

java劝退师
关注
专栏目录
centos7.2重新安装yum
shaoqiufeng的博客
12-12 4万+
问题 [root@zf-test-web01-4 ~]# yum install rng-tools Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile There are no enabled repos.  Run "yum repolist all" to see the repos yo
yum install 报错[Errno 14] curl#37 - Couldn't open file /mnt/repodata/repomd.xml
u013042928的博客
07-23 5万+
最近在玩centos7，之前装系统没太注意yum这个东东，今天用别人装好的系统想用yum install 一个东西，结果报各种错，所以就是： 1、然后按照网上的一些修改，先是执行： yum cleam all 然后 yum makecache，问题还是没解决，继续报错。 其实这两条命令就是清空缓存，然后再重新缓存的意思，有时候可能有效。 2、然后又尝试了方法，说是DNS的问题，上不了...
redis爬坑记(一) redis的安装与启动
拾荒者
12-20 293
  环境：  linux   教程：http://www.runoob.com/redis/redis-java.html 下载地址(本文采用(redis-2.8.17)：   http://download.redis.io/releases/redis-2.8.17.tar.gz 解压，并切换目录：     tar xzf redis-2.8.17.tar.gz ...
Centos7系统安装yum遇到的问题failure: repodata/repomd.xml from base: [Errno 256] No more mirrors to try. http:
热门推荐
果冻先生的专栏
06-10 16万+
当遇到这个问题的时候，发现网上也有很多人也在问同样的问题。但是发现大家问的问题，很少有人能解释得很清楚，而且很多人的解决方法复杂且不能解决问题。我查了近二十篇博客和文章，对照做了，但是基本解决不了问题。 http://mirrors.ustc.edu.cn/help/centos.html http://mirrors.163.com/.help/centos.html https://bl...
redis集群搭建-集群模式
m0_59550284的博客
06-15 147
mkdir -p /usr/local/redis-cluster/{7000,7001} #创建redis安装目录。mkdir -p /data/redis/{7000,7001}/data #存放缓存数据目录。logfile "/var/log/redis_7000.log" #302行指定redis日志存放位置。dir /data/redis/7000/data #454行缓存数据的存储路径。本章只有安装步骤如果想了解理论-----
redis集群搭建小结
java？
12-31 269
redis高版本使用ruby实现了集群，所以需要ruby环境，安装ruby环境和redis的gem接口后，就可以使用redis的redis-trib.rb脚本创建集群。 先列一下大的步骤。 1.修改配置文件，启动多个redis实例。   2.安装ruby、rubygems、redis ruby接口。 安装gem 需要ruby的版本在 1.8.7 以上，默认的centos5 上都是1....
Redis数据结构及应用场景详解
weixin_45079618的博客
09-17 768
查找的过程也是一样的。这个是不能的，比如，当线程1加锁成功后，master节点数据会异步复制到slave节点，此时当前持有Redis锁的master节点宕机，slave节点被 提升为新的master节点，假如现在来了一个线程2，再次加锁，会在新的master节点上加锁成功，这个时候就会出现两个节点同时持有一把锁的问题。好处：在高并发下，一个业务有可能会执行很快，先客户1持有锁的时候，客户2来了以后并不会马上拒绝，它会自旋不断尝试获取锁，如果客户1释放，客户2就可以马上持有锁，性能也得到了提升。
面试官：你对Redis缓存了解吗？面对这5道面试题是否有很多问号？
马小婧QAQ
08-31 1636
1.redis 集群模式的工作原理能说一下么？在集群模式下， redis 的 key 是如何寻址的？分布式寻址都有哪些算法？了 解一致性 hash 算法吗？ 面试官心理分析 在前几年，redis 如果要搞几个节点，每个节点存储一部分的数据，得借助一些中间件来实现，比如说有codis，或者 twemproxy，都有。有一些 redis 中间件，你读写 redis 中间件，redis 中间件负责将你的数据分布式存储在多台机器上的 redis 实例中。 这两年，redis 不断在发展，redis 也不断有新
Redis的主从复制的流程和原理是怎样的？复制过程中也会产生各种问题？
lonely_bin的博客
07-11 334
如果Redis的读写请求量很大，那么单个实例很有可能承担不了这么大的请求量，如何提高Redis的性能呢？你也许已经想到了，可以部署多个副本节点，业务采用读写分离的方式，把读请求分担到多个副本节点上，提高访问性能。要实现读写分离，就必须部署多个副本，每个副本需要实时同步主节点的数据。 Redis也提供了完善的主从复制机制，使用非常简单的命令，就可以构建一个多副本节点的集群。 同时，当主节点故障宕机时，我们可以把一个副本节点提升为主节点，提高Redis的可用性。可见，对于故障恢复，也依赖Redis的主从复制，它
计算机专业论文 （SpringBoot/SpringCloud+Vue+MySql）
weixin_70367240的博客
07-24 1225
计算机专业本科论文，旅游网，springboot/springcloud+vue+mysql 需要源码dd
服务器搭建记录
mhi1124的博客
11-14 610
一、下载编译软件安装编译软件 yum -y install make zlib zlib-devel gcc-c++ libtool  openssl openssl-devel 二、安装nginx  1.需下载pcre,进行安装（网上看到，可能阿里云服务已经有了不需要安装了） wget http://downloads.sourceforge.net/project/pcre/pcre/
Redis爬坑记（一）：incr命令和expire命令的误区
区块链之美
06-08 4万+
要实现的功能：限制用户的每分钟的访问次数一个有严重bug的代码：每次访问来了，就执行代码块二，当第一次访问，就走else语句，设置当前用户的次数为1，且设置该key的有效期是一分钟。在一分钟之内，第二次来访问了，就走if语句了，因为redis存在这个key了，就实现自增一，然后取出来判断是否超过了设定的阈值。逻辑上看似看似没什么问题。代码块一：Long maxAllowedTimes = 100L...
Redis
weixin_45939821的博客
09-10 488
〇、redis的几种数据类型 一、两种储存机制：RDB和AOF RDB： rdb是redis默认的存储机制； 触发规则后将内存数据存储到硬盘的dump.rdb文件中: save 900 1 save 300 10
Redis 的内存淘汰算法与原理详解
lssffy的博客
09-11 924
Redis 是一个基于内存运行的数据库，当所有数据都存储在内存中时，它能够提供极高的读写性能。然而，内存资源有限，尤其是在一些大规模数据处理的场景下，可能会出现内存耗尽的情况。因此，Redis 提供了内存淘汰机制，在内存不足时，自动释放旧数据以腾出空间存储新数据。
SpringBoot：关于Redis的配置失效(版本问题)
最新发布
一些平时在开发过程中遇到的常见问题，分享给大家
09-14 231
SpringBoot：关于Redis的配置失效(版本问题)
Redis 集群高可用详解及配置
TYM121380的博客
09-04 2022
Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-value database)，是一个非关系型数据库Redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久性等功能。Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛。
搭建Redis 4.0.x集群实践与问题全解
本文档详细介绍了如何在阿里云轻量级服务器上搭建Redis 4.0.x集群，并着重于解决实际操作中的问题。首先，作者强调了由于Redis集群环境依赖于Ruby，因此需要确保服务器上安装了适当的Ruby运行环境。作者推荐使用RVM ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值