k8s-redis-cluster 集群配置 && 集群访问代理 predixy 配置

最新推荐文章于 2024-01-17 17:33:19 发布
最新推荐文章于 2024-01-17 17:33:19 发布
阅读量1.6k 收藏 3
点赞数
文章标签： devops k8s redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/seanmurphy/article/details/117175057
版权

三主三从方式配置k8s-redis集群，采用最新的 redis6.0.6 版本官方镜像，在启动容器时增加 IP 同步脚本 fix-ip.sh

镜像的相关的脚本和配置在文章最后。各位复制粘贴的兄弟，务必根据自己的服务器配置情况修改

---
# 配置 有状态集模式
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: redis-cluster
  namespace: default
spec:
  podManagementPolicy: OrderedReady
  replicas: 6
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      k8s.cn/name: redis-cluster
  serviceName: ''
  template:
    metadata:
      labels:
        k8s.kuboard.cn/layer: cloud
        k8s.kuboard.cn/name: redis-cluster
    spec:
      containers:
        - command:
            - /bin/sh
            - /etc/redis/fix-ip.sh  #此处fix-ip为新增加的指令，用来同步各个pod的IP地址，后边补上相关脚本
            - redis-server
            - /etc/redis/redis.conf
          env:
            - name: POD_IP
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: status.podIP
          image: 'redis:6.0.6'
          imagePullPolicy: IfNotPresent
          name: redis-cluster
          ports:
            - containerPort: 6389
              hostPort: 6389
              name: redis-port
              protocol: TCP
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          volumeMounts:
            - mountPath: /etc/redis/
              name: config-dir
            - mountPath: /data
              name: redis-cluster-data
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      terminationGracePeriodSeconds: 30
      volumes:
        - configMap:
            defaultMode: 420
            name: redis-cluster
          name: config-dir
  updateStrategy:
    rollingUpdate:
      partition: 0
    type: RollingUpdate
  volumeClaimTemplates:
    - apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: redis-cluster-data
      spec:
        accessModes:
          - ReadWriteMany
        resources:
          requests:
            storage: 30Gi
        storageClassName: redis-cluster-db
        volumeMode: Filesystem

---
apiVersion: v1 # Service 采用 Headless 无头方式
kind: Service
metadata:
  creationTimestamp: '2021-04-29T19:10:02Z'
  name: redis-cluster
  namespace: default
spec:
  clusterIP: None
  clusterIPs:
    - None
  ports:
    - name: redis-port
      port: 6379
      protocol: TCP
      targetPort: 6379
    - name: redis-gossip-port
      port: 16379
      protocol: TCP
      targetPort: 16379
  selector:
    k8s.cn/name: redis-cluster
  sessionAffinity: None
  type: ClusterIP

k8s的redis集群方式，对于客户端开发者来说是很不友好的，这里为了让我这样的老程序狗们轻松一些，经过长时间爬网做测试，选择predixy1.0.5做为集群的访问代理，如此一来，客户端编码时，集群访问跟单台redis访问是一样的，很多老的项目不用做任何代码修改就可以直接访问redis集群了，适配性很强，常规的redis锁、pub、sub等操作都支持，基本满足几乎所有的应用场景了。

predixy的部署如下

---
apiVersion: apps/v1
kind: Deployment
metadata:
  annotations:
    deployment.kubernetes.io/revision: '1'
  name: predixy
  namespace: default
spec:
  progressDeadlineSeconds: 600
  replicas: 2
  revisionHistoryLimit: 5
  selector:
    matchLabels:
      k8s.cn/name: predixy
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    spec:
      containers:
        - command:
            - predixy
            - /etc/predixy/predixy.conf
          image: 'predixy:1.0.5'
          imagePullPolicy: IfNotPresent
          name: predixy
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          volumeMounts:
            - mountPath: /etc/predixy/
              name: predixy-config-dir
              readOnly: true
            - mountPath: /data/
              name: predixy-data-dir
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      terminationGracePeriodSeconds: 30
      volumes:
        - configMap:
            defaultMode: 420
            name: predixy-config  # 文档后边补上predixy-config的配置信息
          name: predixy-config-dir
        - name: predixy-data-dir
          nfs: #容器相关的物理磁盘挂载，请自行设置
            path: /home/predixy/
            server: 172.24.0.88
---
apiVersion: v1
kind: Service
metadata:
  name: predixy
  namespace: default
spec:
  externalTrafficPolicy: Cluster
  ports:
    - name: predixy-port
      nodePort: 30617
      port: 7617
      protocol: TCP
      targetPort: 7617
  selector:
    k8s.cn/name: predixy
  sessionAffinity: None
  type: NodePort

predixy.conf

################################### GENERAL ####################################
## Predixy configuration file example

## Specify a name for this predixy service
## redis command INFO can get this
Name Predixy-DefaultNS

## Specify listen address, support IPV4, IPV6, Unix socket
## Examples:
# Bind 127.0.0.1:7617
# Bind 0.0.0.0:7617
# Bind /tmp/predixy

## Default is 0.0.0.0:7617
Bind 0.0.0.0:7617

## Worker threads
WorkerThreads 4

## Memory limit, 0 means unlimited

## Examples:
# MaxMemory 100M
# MaxMemory 1G
# MaxMemory 0

## MaxMemory can change online by CONFIG SET MaxMemory xxx
## Default is 0
# MaxMemory 0

## Close the connection after a client is idle for N seconds (0 to disable)
## ClientTimeout can change online by CONFIG SET ClientTimeout N
## Default is 0 为0时表示禁止该功能，不主动断开客户端连接
ClientTimeout 0


## IO buffer size
## Default is 4096
# BufSize 4096

################################### LOG ########################################
## Log file path
## Unspecify will log to stdout
## Default is Unspecified
Log /data/predixy.log

## LogRotate support

## 1d rotate log every day
## nh rotate log every n hours   1 <= n <= 24
## nm rotate log every n minutes 1 <= n <= 1440
## nG rotate log evenry nG bytes
## nM rotate log evenry nM bytes
## time rotate and size rotate can combine eg 1h 2G, means 1h or 2G roate a time
## Examples:
# LogRotate 1d 2G
# LogRotate 1d
LogRotate 1d

## Default is disable LogRotate


## In multi-threads, worker thread log need lock,
## AllowMissLog can reduce lock time for improve performance
## AllowMissLog can change online by CONFIG SET AllowMissLog true|false
## Default is true
# AllowMissLog false

## LogLevelSample, output a log every N
## all level sample can change online by CONFIG SET LogXXXSample N
LogVerbSample 0
LogDebugSample 0
LogInfoSample 100
LogNoticeSample 1
LogWarnSample 1
LogErrorSample 1


################################### AUTHORITY ##################################
# Include auth.conf

################################### SERVERS ####################################
Include cluster.conf
# Include sentinel.conf
# Include try.conf


################################### DATACENTER #################################
## LocalDC specify current machine dc
# LocalDC bj

## see dc.conf
# Include dc.conf


################################### COMMAND ####################################
## Custom command define, see command.conf
#Include command.conf

################################### LATENCY ####################################
## Latency monitor define, see latency.conf
Include latency.conf

redis 镜像的 fix-ip.sh 脚本

#!/bin/sh
CLUSTER_CONFIG="/data/nodes.conf"
if [ -f ${CLUSTER_CONFIG} ]; then
  if [ -z "${POD_IP}" ]; then
    echo "Unable to determine Pod IP address!"
    exit 1
  fi
  echo "更新本机 POD IP to ${POD_IP} in ${CLUSTER_CONFIG}"
  sed -i.bak -e '/myself/ s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/'${POD_IP}'/' ${CLUSTER_CONFIG}
fi
exec "$@"

redis.conf

cluster-enabled yes
cluster-config-file /data/nodes.conf
cluster-node-timeout 10000
protected-mode no
daemonize no
pidfile /var/run/redis.pid
port 6379
tcp-backlog 511
bind 0.0.0.0
timeout 3600
tcp-keepalive 1
loglevel verbose
logfile /data/redis.log
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
dir /data
#requirepass yl123456
appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
lua-time-limit 20000
slowlog-log-slower-than 10000
slowlog-max-len 128
#rename-command FLUSHALL  ""
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes

 

SeanMurphy
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
k8s-redis-cluster.tar.gz
03-01
kubernetes statefulset搭建redis集群，只需按要求创建好pvc即可，傻瓜式操作
Redis-Operator:Redis Operator在Kubernetes上创建配置管理Redis集群
05-03
Redis操作员 建置状态 项目状态：alpha 这是一个正在进行的项目。 该项目的目的是简化环境中的部署和操作。 它于2016年在Amadeus内部开始，我们最初将该项目设计为在上运行。 这是我们的Redis-Operator的第二个版本，该版本现在基于Kubernetes CustomResourceDefinition（CRD）来表示RedisCluster配置。 概述 Redis集群将通过独特的部署进行部署。 Redis集群的每个节点都在自己的Pod中运行； 在启动时，每个节点都没有活动角色（不是从属节点也不是带插槽的主节点），它只是作为不带插槽的主节点加入集群。 请参阅下面的模式中的表示形式 此时，您的Redis进程正在运行，每个节点都相互了解，但是只有一个主节点负责所有插槽。 为了正确配置不同的Redis-Operator服务器并设置Redis-Operator集群，我
kubernetes-redis-cluster, Kubernetes Redis集群配置和教程.zip
09-17
kubernetes-redis-cluster, Kubernetes Redis集群配置和教程 Kubernetes Redis集群创建磁盘gcloud compute disks create --size=10GB 'redis-1' 'redis-2' 'redis-3' 'redis-4' 'red
redis-cluster-operator:Redis Cluster Operator在Kubernetes上创建和管理Redis集群
05-03
redis-cluster-operator 概述 Redis Cluster Operator在Kubernetes上管理 。 操作员本身是用。 每个主节点及其从节点都由statefulSet管理，为每个statefulSet创建一个无头svc，并为所有节点创建clusterIP服务。 每个有状态集都使用PodAntiAffinity来确保主节点和从节点分散在不同的节点上。 同时，当操作员在每个有状态集中选择主节点时，它会优先选择具有不同k8s节点的容器作为主节点。 目录 部署样本Redis集群 扩展Redis集群 缩减Redis集群 备份还原 普罗米修斯发现 使用密码创建Redis集群 持续量 自定义配置 客户服务 自订资源 验证Webhook 端到端测试 先决条件 转到v1.13 +版本。 访问Kubernetes v1.13.10集群。 特征 自定义主节点数和每个主节
mysql cluster 宕机_redis集群节点宕机
weixin_36084686的博客
02-07 335
redis集群是有很多个redis一起工作，那么就需要这个集群不是那么容易挂掉，所以呢，理论上就应该给集群中的每个节点至少一个备用的redis服务。这个备用的redis称为从节点(slave)。1、集群是如何判断是否有某个节点挂掉首先要说的是，每一个节点都存有这个集群所有主节点以及从节点的信息。它们之间通过互相的ping-pong判断是否节点可以连接上。如果有一半以上的节点去ping一个节点的时候...
k8s部署redis-cluster+predixy集群
lucas5的博客
04-02 1849
k8s部署redis-cluster+predixy集群
【实战】K8S部署Redis集群代理Predixy
最新发布
勤于笔记，成于点滴。
01-17 976
K8S部署Redis集群代理Predixy还是比较简单，只需要编译Predixy源码并构建镜像然后部署在K8S集群即可。最后的效果也是比较nice，直接可以负载均衡到任意的redis节点，让redis集群管理和K8S外部环境任意访问都轻而易举。
K8S部署redis三主三从标准集群
江宁山人的专栏
04-20 1222
当我们把redis以pod的形式部署在k8s中时，每个pod里缓存的数据都是不一样的，而且pod的IP是会随时变化，这时候如果使用普通的deployment和service来部署redis-cluster就会出现很多问题，因此需要改用StatefulSet + Headless Service来解决。相应的，在k8s的dns映射里，Headless Service的解析结果不是一个Cluster IP，而是它所关联的所有Pod的IP列表。中的4.2 构建能自动分配PV的storageClass 章节。
【Redis代理】- Predixy
Java领域博主
03-21 2389
超详细的Redis代理“predixy”实战·（建议收藏）
3. Redis集群
hanzong110的博客
07-14 277
1 单机、单节点、单实例通用问题 单点故障 容量有限 压力(来自连接数、cpu) 2 解决方案：AKF拆分原则 可扩展艺术一书中提供的设计微服务时的原则之一，是将大规模系统拆分成多个小规模系统时，所应该遵守的原则。遵守该原则可以解决大规模系统的容量、性能、模块数量增长带来的系统复杂度等问题。防止系统设计的不合理导致需要将系统进行反复地重构 2.1 基于X轴的拆分 全量，镜像复制，用于解决单点故障问题 会引发数据一致性的问题，也就是几台节点数据可能不一致 一致性问题解决方案 强一致性
k8s-redis-cluster
03-09
k8s-redis-集群 该存储库包含一个如何在Kubernetes上创建Redis集群的示例！ :rocket: 目录 先决条件 我将假定您已安装和配置以下工具： ：19.03.13或更高版本 ：v1.15.1或更高版本。 该项目使用minikube来模拟...
Redis-13-Redis的集群和分布式
苍煜
03-06 1112
文章目录1：什么是集群2:制作集群6个节点1：环境说明2：复制六个redis节点3：启动六个节点4：将六个节点合成一个集群5：采用集群策略连接，设置数据会自动切换到相应的写主机6：通过 cluster nodes 命令查看集群信息3：什么是slots4:在集群中录入值5：查询集群中的值6：故障恢复7:集群的Jedis开发 1：什么是集群 Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。 Redis 集群通过分区（par
K8S应用笔记 —— 部署Redis5集群（可供外部直接访问）
热门推荐
gmHappy
05-27 3万+
前言 已完成K8S集群搭建，可参照：https://blog.csdn.net/ctwy291314/article/details/124841195 一、创建namespace kubectl create namespace redis-cluster 二、创建NFS存储 创建NFS存储主要是为了给Redis提供稳定的后端存储，当Redis的Pod重启或迁移后，依然能获得原先的数据。这里，我们先要先创建NFS，然后通过使用PV为Redis挂载一个远程的NFS路径。 2.1 安装配置NFS服务端 由于
Redis分片代理predixy安装与快速搭建(史上最详细) | predixy Demo | joyieldInc/predixy 避坑指南 | predixy-1.0.5 源码下载
血煞长虹 的专栏
11-15 8675
本文为你详细介绍predixy的搭建过程，从下载到配置，再到对单实例/多实例下，predixy对事务支持的试验，以及代理模式下宕机，作为predixy搭建避坑指南，本文首当其冲！
国际大专辩论赛比赛规则
雅冰石的专栏
10-17 3216
正方一辩二分三十秒 反方一辩二分三十秒 正方二辩选择反方二辩或三辩进行一对一公辩一分三十秒 反方二辩选择正方二辩或三辩进行一对一公辩一分三十秒 正方三辩选择反方二辩或三辩进行一对一公辩一分三十秒 反方三辩选择正方二辩或三辩进行一对一公辩一分三十秒 正方一辩公辩小结一分三十秒 反方一辩公辩小结一分三十秒 自由辩论双方各累计时四分钟 正方四辩三分钟
predixy的安装及集群搭建
小浪与艳花
08-04 2801
linux环境-redis代理predixy的安装下载到本地修改配置以及集群搭建修改conf下代理的配置文件prefixy.conf开始编辑predixy里哨兵的配置文件配置并启动上面配置的3个哨兵和4个redis实例（2套主从）启动代理bin下的predixy启动redis客户端，端口为代理7617小结 可参看github上：predixy源码 要求是c++11编译，我的是centOS6，不支持,但是有直接编译好的 点一个发布好的 下载到本地 创建文件夹并进入此路径 [root@node02 pre
Redis集群架构模式概述（一）
gjc592的博客
11-29 89
点击上方蓝字关注我 Redis，不仅是数据存储，更是架构的艺术。从主从到哨兵、再到Cluster，每个模式都有着独特的优势。而代理模式，则是应对大规模场景的得力助手。这是一场探险，Redis引领我们穿越在数据存储的未知之旅。本文先简略介绍Redis的几种架构模式，后续合集再逐一进行详细介绍部署、使用及原理。1. 主从模式1.1 简介主从模式是Redis架构中最简单的模式之一，分为主数据库...
搭建Redis主从集群+哨兵+代理predixy
panda_225400的博客
04-30 4163
搭建了一个 Redis 服务器集群(主从复制+哨兵模式+代理），实现了主从配置和容灾部署，使得主机出现故障时，可自动进行容灾切换，现详细记录下搭建过程以及遇到的问题提示：以下是本篇文章正文内容，下面案例可供参考记录点点滴滴。
K8S如何部署Redis（单机、集群）
muguazhi的博客
08-23 4939
在今天的讨论中，我们将深入研究如何将Redis数据库迁移到云端，以便更好地利用云计算的优势提高数据管理的灵活性。Redis(Remote Dictionary Server)是一个开源的、基于内存的数据结构存储系统，它可以用作数据库、缓存和消息代理。Redis支持多种数据结构，如字符串、列表、集合、散列等，具有高性能、低延迟、持久化等特点。在Kubernetes(K8S)中部署Redis是一项常见的任务，因为Redis是一个高性能的键值存储数据库，非常适合用于缓存、消息队列等场景。
K8s部署redis cluster集群
05-12
要在 Kubernetes 上部署 Redis Cluster 集群，可以按照以下步骤进行： 1. 创建 Redis ConfigMap 首先，需要创建一个 Redis 配置文件 ConfigMap。可以使用以下命令创建： ``` kubectl create configmap redis-conf --from-file=redis.conf ``` 其中，`redis.conf` 是 Redis 配置文件的名称。可以根据实际情况进行修改。 2. 创建 Redis StatefulSet 接下来，可以创建 Redis StatefulSet。可以使用以下 YAML 文件作为模板： ``` apiVersion: apps/v1 kind: StatefulSet metadata: name: redis-cluster spec: serviceName: redis-cluster replicas: 6 selector: matchLabels: app: redis-cluster template: metadata: labels: app: redis-cluster spec: containers: - name: redis image: redis:6.0.9 ports: - containerPort: 6379 name: client - containerPort: 16379 name: gossip volumeMounts: - name: config mountPath: /usr/local/etc/redis/redis.conf subPath: redis.conf command: - sh - -c - | if [ -n "${POD_NAME}" ]; then sed -i "s/%cluster-name%/redis-cluster/g" /usr/local/etc/redis/redis.conf sed -i "s/%node-name%/${POD_NAME}/g" /usr/local/etc/redis/redis.conf fi volumes: - name: config configMap: name: redis-conf volumeClaimTemplates: - metadata: name: data spec: accessModes: [ "ReadWriteOnce" ] resources: requests: storage: 1Gi ``` 在上述 YAML 文件中，`replicas` 字段指定了 Redis 集群的节点数，`volumeClaimTemplates` 字段指定了每个节点的数据卷大小。另外，还需要注意以下几点： - `serviceName` 字段需要与 `metadata.name` 字段相同。 - `selector.matchLabels` 字段需要与 `metadata.labels` 字段相同。 - `command` 字段用于修改 Redis 配置文件中的节点名称和集群名称。 3. 创建 Redis Service 最后，需要创建 Redis Service。可以使用以下 YAML 文件作为模板： ``` apiVersion: v1 kind: Service metadata: name: redis-cluster labels: app: redis-cluster spec: ports: - name: client port: 6379 targetPort: 6379 - name: gossip port: 16379 targetPort: 16379 clusterIP: None selector: app: redis-cluster ``` 在上述 YAML 文件中，`clusterIP` 字段需要设置为 `None`，以便创建一个 Headless Service，让每个 Redis 节点可以通过 DNS 解析到自己的 IP 地址。 4. 部署 Redis Cluster 完成以上步骤后，可以使用以下命令部署 Redis Cluster： ``` kubectl apply -f redis-cluster.yaml ``` 其中，`redis-cluster.yaml` 是包含 Redis StatefulSet 和 Redis Service 的 YAML 文件。可以根据实际情况进行修改。 部署完成后，可以使用以下命令查看 Redis Cluster 的状态： ``` kubectl exec -it redis-cluster-0 -- redis-cli cluster nodes ``` 其中，`redis-cluster-0` 是 Redis Cluster 中的一个节点名称。可以根据实际情况进行修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值