记一次redis-cluster集群搭建及redis-cluster-proxy部署的过程

最新推荐文章于 2024-08-23 09:20:21 发布
最新推荐文章于 2024-08-23 09:20:21 发布
阅读量1.7k 收藏 3
点赞数
文章标签： docker redis proxy模式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yj970605/article/details/124341170
版权
本文介绍了如何在本地环境中使用Docker搭建一套Redis集群，通过配置文件详细展示了多个Redis节点的设置，并强调了固定IP的重要性以避免集群故障。此外，还讨论了集群代理的必要性，并分享了自建代理镜像和配置文件，以实现统一入口。最后，给出了启动成功的截图。
摘要由CSDN通过智能技术生成

应公司要求在本地环境搭建一套redis的集群，应对大容量数据，故开始研究集群，研究集群代理，提供统一rukou
好了，话不多说，直接上码，其实很简单的，我也不知道我怎么会写这么啰嗦，好了，请接下来别眨眼，往下看吧

version: '2.4'
services:
  # redis1配置
  redis1:
    image: redis:6.0.6-alpine
    restart: always
    container_name: redis-1
    environment: # 环境变量
      - PORT=6385 # 会使用config/nodes-${PORT}.conf这个配置文件
      - TZ=Asia/Shanghai
    ports:
      - 6385:6385
      - 16385:16385
    networks:
      redis-cluster:
              ipv4_address: 172.19.0.2
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    privileged: true # 拥有容器内命令执行的权限
    healthcheck:
      test: [ "CMD", "redis-cli","-h","127.0.0.1","-p","6385" ,"CONFIG" ,"GET" ,"requirepass" ]
    volumes:
      - /data/redis/redis-cluster/redis-config/6385/redis.conf:/usr/local/etc/redis/redis.conf
      - /data/redis/redis-data/6379/appendonly.aof:/data/appendonly.aof:rw
    command: sh -c "redis-server /usr/local/etc/redis/redis.conf"
  # redis2配置
  redis2:
    image: redis:6.0.6-alpine
    restart: always
    container_name: redis-2
    environment: # 环境变量
      - PORT=6380 # 会使用config/nodes-${PORT}.conf这个配置文件
      - TZ=Asia/Shanghai
    ports:
      - 6380:6380
      - 16380:16380
    networks:
      redis-cluster:
              ipv4_address: 172.19.0.3
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    privileged: true # 拥有容器内命令执行的权限
    healthcheck:
      test: [ "CMD", "redis-cli","-h","127.0.0.1","-p","6380" ,"CONFIG" ,"GET" ,"requirepass" ]
    depends_on:
      redis1:
              condition: service_healthy
    volumes:
      - /data/redis/redis-cluster/redis-config/6380/redis.conf:/usr/local/etc/redis/redis.conf
      - /data/redis/redis-data/6380/appendonly.aof:/data/appendonly.aof:rw
    command: sh -c "redis-server /usr/local/etc/redis/redis.conf"
  # redis3配置
  redis3:
    image: redis:6.0.6-alpine
    restart: always
    container_name: redis-3
    environment: # 环境变量
      - PORT=6381 # 会使用config/nodes-${PORT}.conf这个配置文件
      - TZ=Asia/Shanghai
    ports:
      - 6381:6381
      - 16381:16381
    networks:
      redis-cluster:
              ipv4_address: 172.19.0.4
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    healthcheck:
      test: [ "CMD", "redis-cli","-h","127.0.0.1","-p","6381" ,"CONFIG" ,"GET" ,"requirepass" ]
    depends_on:
      redis2:
              condition: service_healthy
    volumes:
      - /data/redis/redis-cluster/redis-config/6381/redis.conf:/usr/local/etc/redis/redis.conf
      - /data/redis/redis-data/6381/appendonly.aof:/data/appendonly.aof:rw
    command: sh -c "redis-server /usr/local/etc/redis/redis.conf"
  # redis4配置
  redis4:
    image: redis:6.0.6-alpine
    restart: always
    container_name: redis-4
    environment: # 环境变量
      - PORT=6382 # 会使用config/nodes-${PORT}.conf这个配置文件
      - TZ=Asia/Shanghai
    ports:
      - 6382:6382
      - 16382:16382
    networks:
      redis-cluster:
              ipv4_address: 172.19.0.5
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    healthcheck:
      test: [ "CMD", "redis-cli","-h","127.0.0.1","-p","6382" ,"CONFIG" ,"GET" ,"requirepass" ]
    depends_on:
      redis3:
              condition: service_healthy
    volumes:
      - /data/redis/redis-cluster/redis-config/6382/redis.conf:/usr/local/etc/redis/redis.conf
      - /data/redis/redis-data/6382/appendonly.aof:/data/appendonly.aof:rw
    command: sh -c "redis-server /usr/local/etc/redis/redis.conf"
  # redis5配置
  redis5:
    image: redis:6.0.6-alpine
    restart: always
    container_name: redis-5
    environment: # 环境变量
      - PORT=6383 # 会使用config/nodes-${PORT}.conf这个配置文件
      - TZ=Asia/Shanghai
    ports:
      - 6383:6383
      - 16383:16383
    networks:
      redis-cluster:
              ipv4_address: 172.19.0.6
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    healthcheck:
      test: [ "CMD", "redis-cli","-h","127.0.0.1","-p","6383" ,"CONFIG" ,"GET" ,"requirepass" ]
    depends_on:
      redis4:
              condition: service_healthy
    volumes:
      - /data/redis/redis-cluster/redis-config/6383/redis.conf:/usr/local/etc/redis/redis.conf
      - /data/redis/redis-data/6383/appendonly.aof:/data/appendonly.aof:rw
    command: sh -c "redis-server /usr/local/etc/redis/redis.conf"
  # redis6配置
  redis6:
    image: redis:6.0.6-alpine
    restart: always
    container_name: redis-6
    environment: # 环境变量
      - PORT=6384 # 会使用config/nodes-${PORT}.conf这个配置文件
      - TZ=Asia/Shanghai
    ports:
      - 6384:6384
      - 16384:16384
    networks:
      redis-cluster:
              ipv4_address: 172.19.0.7
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    healthcheck:
      test: [ "CMD", "redis-cli","-h","127.0.0.1","-p","6384" ,"CONFIG" ,"GET" ,"requirepass" ]
    depends_on:
      redis5:
              condition: service_healthy
    volumes:
      - /data/redis/redis-cluster/redis-config/6384/redis.conf:/usr/local/etc/redis/redis.conf
      - /data/redis/redis-data/6384/appendonly.aof:/data/appendonly.aof:rw
    command: sh -c "redis-server /usr/local/etc/redis/redis.conf"
networks:
        redis-cluster:
                external: true
                #ipam:
                #        config:
                #                - subnet: 172.19.0.0/16
                #                  gateway: 172.19.0.1

因为是用docker部署的，所以，要注意文件的挂载，因为重启的原因，所以最好是固定容器的ip这样在机器重启的时候，集群不会出现问题，，，很重要，因为我就踩过坑，早上上班发现集群毙了，一查，我擦，ip变了导致集群毙了。
接下来呢，有了集群，就会发现，这玩意需要一个统一的链接方式啊 ，不然咋闹，连单点redis吗
那这玩个der啊，所以接下来，就是搭建proxy了，
因为习惯docker所以，这次代理也就用docker部署吧，找了好久，没有找见靠谱的docker镜像，人家的也担心有后门，索性，自己打一个镜像吧，用别人的镜像， 也不知道配置文件怎么配，阿西，真是麻烦
接下来附上镜像文件

FROM ubuntu:latest
COPY ./redis-cluster-proxy-unstable /opt/redis-cluster-proxy-unstable
RUN sed -i "s/archive.ubuntu.com/mirrors.aliyun.com/g" /etc/apt/sources.list
RUN apt update && apt install -y make
WORKDIR /opt/redis-cluster-proxy-unstable
RUN cd /opt/redis-cluster-proxy-unstable/ && make install
EXPOSE 7777

接下来配置文件


```yaml

################################## INCLUDES ###################################

# Include one or more other config files here.  Include files can include
# other files.
#
# If instead you are interested in using includes to override configuration
# options, it is better to use include as the last line.
#
# include /path/to/local.conf
# include /path/to/other.conf

######################## CLUSTER ENTRY POINT ADDRESS ##########################

# Indicate the entry point address in the same way it can be indicated in the
# redis-cluster-proxy command line arguments.
# Note that it can be overridden by the command line argument itself.
# You can also specify multiple entry-points, by adding more lines, ie:
# cluster 127.0.0.1:7000
# cluster 127.0.0.1:7001
# You can also use the "entry-point" alias instead of cluster, ie:
# entry-point 127.0.0.1:7000
#
cluster 192.168.248.135:6385
cluster 192.168.248.135:6380
cluster 192.168.248.135:6381
cluster 192.168.248.135:6382
cluster 192.168.248.135:6383
cluster 192.168.248.135:6384

################################### MAIN ######################################

# Set the port used by Redis Cluster Proxy to listen to incoming connections
# from clients (default 7777)
port 7777

# If you want you can bbleind a single interface, if the bind option is not
# specified all the interfaces will listen for incoming connections.
# You can also bind on multiple interfaces by declaring bind on multiple lines
#
bind 0.0.0.0

# Specify the path for the Unix socket that will be used to listen for
# incoming connections. There is no default, so Redis Cluster Proxy won't
# listen on a Unix socket when not specified.
#
# unixsocket /path/to/proxy.socket

# Set the Unix socket file permissions (default 0)
#
# unixsocketperm 760

# Set the number of threads.
threads 8

# Set the TCP keep-alive value on the Redis Cluster Proxy's socket
#
# tcpkeepalive 300

# Set the TCP backlog on the Redis Cluster Proxy's socket
#
# tcp-backlog 511


# Size of the connections pool used to provide ready-to-use sockets to
# private connections. The number (size) indicates the number of starting
# connections in the pool.
# Use 0 to disable connections pool at all.
# Every thread will have its pool of ready-to-use connections.
# When the proxy starts, every thread will populate a pool containing
# connections to all the nodes of the cluster.
# Whenever a client needs a private connection, it can take a connection
# from the pool, if available. This will speed-up the client transition from
# the thread's shared connection to its own private connection, since the
# connection from the thread's pool should be already connected and
# ready-to-use. Otherwise, clients with priovate connections must re-connect
# the the nodes of the cluster (this re-connection will act in a 'lazy' way).
#
# connections-pool-size 10

# Minimum number of connections in the the pool. Below this value, the
# thread will start re-spawning connections at the defined rate until
# the pool will be full again.
#
# connections-pool-min-size 10

# Interval in milliseconds used to re-spawn connections in the pool.
# Whenever the number of connections in the pool drops below the minimum
# (see 'connections-pool-min-size' above), the thread will start
# re-spawing connections in the pool, until the pool will be full again.
# New connections will be added at this specified interval.
#
# connections-pool-spawn-every 50

# Number of connections to re-spawn in the pool at every cycle that will
# happen with an interval defined by 'connections-pool-spawn-every' (see above).
#
# connections-pool-spawn-rate 50

# Run Redis Cluster Proxy as a daemon.
daemonize no

# If a pid file is specified, the proxy writes it where specified at startup
# and removes it at exit.
#
# When the proxy runs non daemonized, no pid file is created if none is
# specified in the configuration. When the proxy is daemonized, the pid file
# is used even if not specified, defaulting to
# "/var/run/redis-cluster-proxy.pid".
#
# Creating a pid file is best effort: if the proxy is not able to create it
# nothing bad happens, the server will start and run normally.
#
#pidfile /var/run/redis-cluster-proxy.pid

# Specify the log file name. Also the empty string can be used to force
# Redis Cluster Porxy to log on the standard output. Note that if you use
# standard output for logging but daemonize, logs will be sent to /dev/null
#
#logfile ""

# Enable cross-slot queries that can use multiple keys belonging to different
# slots or even different nodes.
# WARN: these queries will break the the atomicity deisgn of many Redis
# commands.
# NOTE: cross-slots queries are not supported by all the commands, even if
# this feature is enabled
#
enable-cross-slot yes

# Maximum number of clients allowed
#
# max-clients 10000

# Authentication password used to authenticate on the cluster in case its nodes
# are password-protected. The password will be used both for fetching cluster's
# configuration and to automatically authenticate proxy's internal connections
# to the cluster itself (both multiplexing shared connections and clients'
# private connections. So, clients connected to the proxy won't need to issue
# the Redis AUTH command in order to be authenticated.
#
# auth mypassw

# Authentication username (supported by Redis >= 6.0)
#
# auth-user myuser

################################# LOGGING #####################################

# Log level: can be debug, info, success, warning o error.
log-level error

# Dump queries received from clients in the log (log-level debug required)
#
# dump-queries no

# Dump buffer in the log (log-level debug required)
#
# dump-buffer no

# Dump requests' queues (requests to send to cluster, request pending, ...)
# in the log (log-level debug required)
#
# dump-queues no

然后是docker-compose


version: '3'
services:
        redis-cluster-proxy:
                image: redis-cluster-proxy:v2.0
                container_name: proxy
                restart: always
                ports:
                        - 7777:7777
                command: sh -c "/opt/redis-cluster-proxy-unstable/src/redis-cluster-proxy -c proxy.conf"
                volumes:
                        - ./proxy.conf:/opt/redis-cluster-proxy-unstable/proxy.conf

最后是启动成功截图在这里插入图片描述

运维菜鸟（小健）
关注
超详细 高性能redis集群搭建 —— 第三篇（redis-cluster-proxy搭建）
秋丞的博客
06-19 3074
redis-cluster-proxy
Redis 6 redis-cluster-proxy 集群代理使用
yangyun901222的博客
10-16 2117
redis-cluster-proxy
redis 6.0 redis-proxy搭建
CC的博客
07-19 1785
一.搭建redis cluster（本例是在测试环境搭建，所以cluster6个节点及proxy节点都在一台机器） 1.下载gcc及依赖 redis 5.0之后版本的redis-cli --cluster已经实现了集群的创建，无需依赖redis-trib.rb，包括ruby环境 gcc版本需要升级，编译安装需要gcc5.3以上 yum -y install centos-release-scl yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devt
Redis Cluster Proxy：透明化你的Redis集群操作体验
gitblog_00463的博客
08-23 450
Redis Cluster Proxy：透明化你的Redis集群操作体验 redis-cluster-proxyA proxy for Redis clusters.项目地址:https://gitcode.com/gh_mirrors/re/redis-cluster-proxy 项目介绍 Redis Cluster Proxy是一个为Redis集群设计的代理层，它旨在简化客户端与分布式Red...
Redis 代理部署
繁星
03-01 253
Redis 代理部署记录 本文默认您已经正确部署了Redis哨兵集群， 如果您还没有配置哨兵，请参考 https://blog.csdn.net/qq_36623327/article/details/114255109 本文档基于 predixy 支持Redis集群的代理 安装软件 predixy安装包下载地址：https://github.com/joyieldInc/predixy/releases/download/1.0.5/predixy-1.0.5-bin-amd64-linux.tar.
Redis在Windows集群中的错误
weixin_30667301的博客
11-06 202
创建集群： ./redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 报错： [ERR] Node 127.0.0.1:7000 is not empty. Either the node alr...
【Redis】——引入redis-cluster-proxy使得Redis Cluster对Kubernetes外部可提供服务
汤庆
12-19 5671
一、前言 这几年云计算发展迅猛，服务容器化在docker和k8s的发展下变成了潮流。无状态服务容器化相对来说较为简单，难得是有状态服务（诸如各数据库）容器化。本文讲讲redis集群容器化后，部署到k8s中怎么暴露服务使得k8s集群外部的服务能够连接redis.本文先说怎么用，再介绍redis-cluster-proxy。 二、Redis Cluster容器化需要解决的问题 1. Redis Cluster数据持久化 -> 可以通过StatefulSet + PVC来...
redis-cluster-proxy:Redis集群的代理
05-04
Redis集群代理 Redis的集群代理适用代理集群。 Redis可以在集群模式下运行，在该模式下，一组Redis实例将负责故障转移和分区。 这种特殊模式需要使用了解群集协议的特殊客户端：通过使用此代理，可以将群集抽象化，并且可以与组成Redis群集的一组实例进行交谈，就像它们是单个实例一样。 Redis群集代理是多线程的，并且当前默认情况下使用多路复用通信模型，因此每个线程都具有自己的与群集的连接，该连接由属于该线程本身的所有客户端共享。 无论如何，在某些特殊情况下（例如MULTI事务或阻止命令），多路复用将被禁用，并且客户端将拥有自己的群集连接。 这样，客户端仅发送诸如GET和SET之类的简单命令就不需要与Redis集群的私有连接。 因此，这些是Redis群集代理的主要功能： 路由：每个查询都会自动路由到集群的正确节点 多线程 同时支持多路复用和专用连接模型 即使在多路复用上下文中
Redis-cluster集群详细部署配置--有手就行
五更天长的博客
09-01 888
Redis Cluster是Redis官方提供的分布式解决方案。当遇到内存、并发、流量等瓶颈时，就可以采用Cluster架构达到负载均衡目的。为何要搭建Redis集群。Redis是在内存中保存数据的，而我们的电脑一般内存都不大，这也就意味着Redis不适合存储大数据，Redis更适合处理高并发，一台设备的存储能力是很有限的，但是多台设备协同合作，就可以让内存增大很多倍，这就需要用到集群。
Redis-Cluster集群搭建及配置
刘大磊的博客
12-14 1309
前言 在上一篇文章中队redis进行了简单的介绍和安装,在这一篇文章中进行一个redis-Cluster的集群搭建。 Redis-Cluster介绍 redis-cluster架构设计 架构细节: (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. (2)节点的fail是通过集群中超过半数的节点检测失效时才生效. (3)客户端
基于Docker构建Redis-Cluster及Haproxy
业精于勤，荒于嬉；行成于思，毁于随。
12-01 902
搭建Redis Cluster 本文使用多机搭建，一台虚机两个节点 IP 环境 docekr redis 192.168.119.156 CentOS Linux release 7.6.1810 version 19.03.9 redis：6.0 192.168.119.157 CentOS Linux release 7.6.1810 version 19.03.9 redis：6.0 192.168.119.158 CentOS Linux release 7.6.1810 v
cpp-predixy一款高性能全特征redis代理支持redissentinel和rediscluster
08-16
predixy是一款高性能、全特性的redis代理，性能之高超越所有其它同类redis代理软件，甚至比直连redis的吞吐还要高！redis全特性支持，无论是redis cluster还是redis sentinel都不在话下，更不用说redis自身的阻塞式命令、多key命令、事务、发布订阅、脚本等。
Redis Cluster Proxy: 解决Redis集群管理的高效工具
gitblog_00079的博客
04-10 607
Redis Cluster Proxy: 解决Redis集群管理的高效工具 redis-cluster-proxy项目地址:https://gitcode.com/gh_mirrors/red/redis-cluster-proxy 是一个轻量级、高性能的中间件，专为简化和优化对Redis集群的访问而设计。它作为一个智能代理，为开发者提供了一种简单易用的方式来与复杂的Redis集群进行交互，无需...
Redis系列(十五)、Redis6新特性之集群代理(Cluster Proxy)
王义凯 的博客
06-30 10000
在之前的文章中介绍了Redis6的集群搭建和原理，我们可以使用dummy和smart客户端连接集群，本篇介绍Redis6新增的一个功能：集群代理。客户端不需要知道集群中的具体节点个数和主从身份，可以直接通过代理访问集群，对于客户端来说通过集群代理访问的集群就和单机的Redis一样，因此也能解决很多集群的使用限制。
k8s部署redis-cluster-proxy
nuptaxin的专栏
03-15 1584
编译源代码 打包环境centos7.9 下载项目源代码 git clone git@github.com:RedisLabs/redis-cluster-proxy.git 进入项目目录： cd redis-cluster-proxy 编译 make PREFIX=/usr/local/redis_cluster_proxy install 注：未安装git： yum install git 注：gcc版本小于5，需要执行以下命令 gcc -v yum install centos-release-scl
Redis-cluster-proxy特性
missiletcy的博客
12-02 1277
Redis-cluster-proxy解决了Redis-cluster无中心化的多节点网络通信压力、业务和架构高度耦合的问题，同时可以兼容底层Redis版本变更，是一个不错分布式解决方案的选择
redis-cluster-proxy代理集群并支持mget命令
程序猿的世界
05-09 1979
参考文档 搭建集群：http://www.redis.cn/topics/cluster-tutorial.html redis-cluster-proxy：https://github.com/RedisLabs/redis-cluster-proxy 搭建集群 集群最少为3个节点，所以需要复制3份redis配置文件，每个文件更改下面几个地方： port：端口号 pidfile：/var/run/redis-6379.pid logfile："/usr/local/var/log/re.
K8S Redis-Cluster安装（含redis-cluster-proxy、RedisInsight）
crabdave的博客
05-06 1879
K8S Redis-Cluster安装（含redis-cluster-proxy、RedisInsight）
redis 6.0 redis-cluster-proxy集群代理尝试
keocce的博客
05-06 1361
伴随着Redis6.0的发布，作为最令人怦然心动的特性之一，Redis官方同时推出Redis集群的proxy了：redis-cluster-proxy，https://github.com/RedisLabs/redis-cluster-proxy 相比从前访问Redis集群时需要制定集群中所有的IP节点相比： 1，redis的redis-cluster-proxy实现了redis cl...
redis-cluster-proxy 不稳定
最新发布
08-31
Redis Cluster Proxy 是一个用于管理和扩展 Redis 集群的代理服务器，它通过负载均衡和故障转移机制来提高 Redis 集群的可用性和性能。然而，像所有软件一样，Redis Cluster Proxy 也可能会遇到一些稳定性问题： 1. **网络延迟或中断**：如果节点之间的网络连接不稳定，Proxy 可能会因为无法及时通信而导致数据一致性问题。 2. **配置不一致**：如果 Proxy 的配置错误或集群配置发生变化，可能导致 Proxy 无法正确路由请求，进而引发服务中断。 3. **并发处理能力**：高并发情况下，Proxy 如果设计不足或者资源分配不合理，可能会造成响应慢甚至崩溃。 4. **软件 bug 或版本问题**：Proxy 源码存在缺陷或新版本引入了未充分测试的功能，都可能导致不稳定情况。 5. **过度负载**：当 Proxy 接受超出其预期的流量时，如果没有适当的扩展策略，也可能引起不稳定。 解决这些问题通常需要定期监控、合理的系统设计、正确的配置管理以及对软件更新的及时修复。如果你遇到了具体的不稳定情况，建议详细检查日志，定位问题，并参考社区文档或官方支持寻求解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值