k8s部署redis一主两从三哨兵(集群内访问)

已于 2024-08-22 15:28:33 修改
阅读量266 收藏 3
点赞数 2
分类专栏： 容器云 文章标签： kubernetes redis 容器
于 2024-08-22 14:53:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44923842/article/details/141422223
版权

一、配置清单
1.基于K8s搭建部署1主2从3哨兵的Redis集群哨兵模式(集群内访问)

2.持久化数据选择用storageclass，动态创建pv存储，动态存储使用longhorn

创建redis配置文件

#注意内容中注释

apiVersion: v1
kind: Namespace
metadata:
  name: prod
 
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: redis5-configmap
  namespace: prod
  labels:
    app: redis
data:
  redis.conf: |
    dir "/data"
    maxmemory 0
    maxmemory-policy volatile-lru
    min-slaves-max-lag 5
    min-slaves-to-write 1
    rdbchecksum yes
    rdbcompression yes
    repl-diskless-sync yes
    save 900 1
 
  sentinel.conf: |
    dir "/data"
    sentinel down-after-milliseconds mymaster 10000
    sentinel failover-timeout mymaster 180000
    sentinel parallel-syncs mymaster 5
 
  init.sh: |
    HOSTNAME="$(hostname)"
    INDEX="${HOSTNAME##*-}"
    #redis5-sentinel-svc和service名字相关
    MASTER="$(redis-cli -h redis5-sentinel-svc -p 26379 sentinel get-master-addr-by-name mymaster | grep -E '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}')"
    MASTER_GROUP="mymaster"
    QUORUM="2"
    REDIS_CONF=/data/conf/redis.conf
    REDIS_PORT=6379
    SENTINEL_CONF=/data/conf/sentinel.conf
    SENTINEL_PORT=26379
    #需要修改为自己service名字无头服务的名字
    SERVICE=redis5-sentinel-headless
    set -eu
 
    sentinel_update() {
        echo "Updating sentinel config"
        eval MY_SENTINEL_ID="\${SENTINEL_ID_$INDEX}"
        sed -i "1s/^/sentinel myid $MY_SENTINEL_ID\\n/" "$SENTINEL_CONF"
        sed -i "2s/^/sentinel monitor $MASTER_GROUP $1 $REDIS_PORT $QUORUM \\n/" "$SENTINEL_CONF"
        echo "sentinel announce-ip $ANNOUNCE_IP" >> $SENTINEL_CONF
        echo "sentinel announce-port $SENTINEL_PORT" >> $SENTINEL_CONF
    }
 
    redis_update() {
        echo "Updating redis config"
        echo "slaveof $1 $REDIS_PORT" >> "$REDIS_CONF"
        echo "slave-announce-ip $ANNOUNCE_IP" >> $REDIS_CONF
        echo "slave-announce-port $REDIS_PORT" >> $REDIS_CONF
    }
 
    copy_config() {
        cp /readonly-config/redis.conf "$REDIS_CONF"
        cp /readonly-config/sentinel.conf "$SENTINEL_CONF"
    }
 
    setup_defaults() {
        echo "Setting up defaults"
        if [ "$INDEX" = "0" ]; then
            echo "Setting this pod as the default master"
            redis_update "$ANNOUNCE_IP"
            sentinel_update "$ANNOUNCE_IP"
            sed -i "s/^.*slaveof.*//" "$REDIS_CONF"
        else
            #  "redis-0.$SERVICE" 和statefulset的名字相关
            DEFAULT_MASTER="$(getent hosts "redis5-sentinel-0.$SERVICE" | awk '{ print $1 }')"
            if [ -z "$DEFAULT_MASTER" ]; then
                echo "Unable to resolve host"
                exit 1
            fi
            echo "Setting default slave config.."
            redis_update "$DEFAULT_MASTER"
            sentinel_update "$DEFAULT_MASTER"
        fi
    }
 
    find_master() {
        echo "Attempting to find master"
        if [ "$(redis-cli -h "$MASTER" ping)" != "PONG" ]; then
           echo "Can't ping master, attempting to force failover"
           if redis-cli -h "$SERVICE" -p "$SENTINEL_PORT" sentinel failover "$MASTER_GROUP" | grep -q 'NOGOODSLAVE' ; then 
               setup_defaults
               return 0
           fi
           sleep 10
           MASTER="$(redis-cli -h $SERVICE -p $SENTINEL_PORT sentinel get-master-addr-by-name $MASTER_GROUP | grep -E '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}')"
           if [ "$MASTER" ]; then
               sentinel_update "$MASTER"
               redis_update "$MASTER"
           else
              echo "Could not failover, exiting..."
              exit 1
           fi
        else
            echo "Found reachable master, updating config"
            sentinel_update "$MASTER"
            redis_update "$MASTER"
        fi
    }
 
    mkdir -p /data/conf/
 
    echo "Initializing config.."
    copy_config
    #  "redis-$INDEX.$SERVICE" 和statefulset的名字相关
    ANNOUNCE_IP=$(getent hosts "redis5-sentinel-$INDEX.$SERVICE" | awk '{ print $1 }')
  
    if [ -z "$ANNOUNCE_IP" ]; then
        "Could not resolve the announce ip for this pod"
        exit 1
    elif [ "$MASTER" ]; then
        find_master
    else
        setup_defaults
    fi
 
    if [ "${AUTH:-}" ]; then
        echo "Setting auth values"
        ESCAPED_AUTH=$(echo "$AUTH" | sed -e 's/[\/&]/\\&/g');
        sed -i "s/replace-default-auth/${ESCAPED_AUTH}/" "$REDIS_CONF" "$SENTINEL_CONF"
    fi
 
    echo "Ready..."
 
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: redis-probes
  namespace: prod
  labels:
    app: redis
data:
  check-quorum.sh: |
    #!/bin/sh
    set -eu
    MASTER_GROUP="mymaster"
    SENTINEL_PORT=26379
    REDIS_PORT=6379
    NUM_SLAVES=$(redis-cli -p "$SENTINEL_PORT" sentinel master mymaster | awk '/num-slaves/{getline; print}')
    MIN_SLAVES=1
 
    if [ "$1" = "$SENTINEL_PORT" ]; then
        if redis-cli -p "$SENTINEL_PORT" sentinel ckquorum "$MASTER_GROUP" | grep -q NOQUORUM ; then
            echo "ERROR: NOQUORUM. Sentinel quorum check failed, not enough sentinels found"
            exit 1
        fi
    elif [ "$1" = "$REDIS_PORT" ]; then
        if [ "$MIN_SLAVES" -gt "$NUM_SLAVES" ]; then
            echo "Could not find enough replicating slaves. Needed $MIN_SLAVES but found $NUM_SLAVES"
            exit 1
        fi
    fi
    sh /probes/readiness.sh "$1"
 
  readiness.sh: |
    #!/bin/sh
    set -eu
    CHECK_SERVER="$(redis-cli -p "$1" ping)"
 
    if [ "$CHECK_SERVER" != "PONG" ]; then
        echo "Server check failed with: $CHECK_SERVER"
        exit 1
    fi
 
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: redis
  namespace: prod
  labels:
    app: redis
 
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: redis
  namespace: prod
  labels:
    app: redis
rules:
- apiGroups:
    - ""
  resources:
    - endpoints
  verbs:
    - get
 
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: redis
  namespace: prod
  labels:
    app: redis
subjects:
- kind: ServiceAccount
  name: redis
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: redis
 
---
apiVersion: v1
kind: Service
metadata:
  name: redis5-sentinel-headless
  namespace: prod
  labels:
    app: redis-ha
  annotations:
    service.alpha.kubernetes.io/tolerate-unready-endpoints: "true"
spec:
  publishNotReadyAddresses: true
  type: ClusterIP
  clusterIP: None
  ports:
  - name: server
    port: 6379
    protocol: TCP
    targetPort: redis
  - name: sentinel
    port: 26379
    protocol: TCP
    targetPort: sentinel
  selector:
    app: redis-ha
 
---
apiVersion: v1
kind: Service
metadata:
  name: redis5-sentinel-svc
  namespace: prod
  labels:
    app: redis-ha
  annotations:
spec:
  type: ClusterIP
  ports:
  - name: server
    port: 6379
    protocol: TCP
    targetPort: redis
  - name: sentinel
    port: 26379
    protocol: TCP
    targetPort: sentinel
  selector:
    app: redis-ha
 
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: redis5-sentinel
  namespace: prod
  labels:
    app: redis-ha
spec:
  selector:
    matchLabels:
      app: redis-ha
  serviceName: redis5-sentinel-headless
  replicas: 3
  podManagementPolicy: OrderedReady
  updateStrategy:
    type: RollingUpdate
  template:
    metadata:
      labels:
        app: redis-ha
    spec:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchLabels:
                  app: redis-ha
              topologyKey: kubernetes.io/hostname
          preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 100
              podAffinityTerm:
                labelSelector:
                  matchLabels:
                    app:  redis-ha
                topologyKey: failure-domain.beta.kubernetes.io/zone
 
      securityContext:
        fsGroup: 1000
        runAsNonRoot: true
        runAsUser: 1000
 
      serviceAccountName: redis
      initContainers:
      - name: config-init
        image: redis:5.0.3
        imagePullPolicy: IfNotPresent
        resources:
          {}
 
        command:
        - sh
        args:
        - /readonly-config/init.sh
        env:
        - name: SENTINEL_ID_0
          value: 0c09a3866dba0f3b43ef2e383b5dc05980900fd8
 
        - name: SENTINEL_ID_1
          value: e6be0f70406122877338f7c814b17a7c7b648d82
 
        - name: SENTINEL_ID_2
          value: 31f8f52b34feaddcabdd6bf1827aeb02be44d2e3
 
        volumeMounts:
        - name: config
          mountPath: /readonly-config
          readOnly: true
        - name: data
          mountPath: /data
      containers:
      - name: redis
        image: redis:5.0.3
        imagePullPolicy: IfNotPresent
        command:
        - redis-server
        args:
        - /data/conf/redis.conf
        livenessProbe:
          exec:
            command: [ "sh", "/probes/readiness.sh", "6379"]
          initialDelaySeconds: 15
          periodSeconds: 5
        readinessProbe:
          exec:
            command: ["sh", "/probes/readiness.sh", "6379"]
          initialDelaySeconds: 15
          periodSeconds: 5
        resources:
          {}
 
        ports:
        - name: redis
          containerPort: 6379
        volumeMounts:
        - mountPath: /data
          name: data
        - mountPath: /probes
          name: probes
      - name: sentinel
        image: redis:5.0.3
        imagePullPolicy: IfNotPresent
        command:
          - redis-sentinel
        args:
          - /data/conf/sentinel.conf
        livenessProbe:
          exec:
            command: [ "sh", "/probes/readiness.sh", "26379"]
          initialDelaySeconds: 15
          periodSeconds: 5
        readinessProbe:
          exec:
            command: ["sh", "/probes/readiness.sh", "26379"]
          initialDelaySeconds: 15
          periodSeconds: 5
        resources:
          {}
 
        ports:
          - name: sentinel
            containerPort: 26379
        volumeMounts:
        - mountPath: /data
          name: data
        - mountPath: /probes
          name: probes
      volumes:
      - name: config
        configMap:
          name: redis5-configmap
      - name: probes
        configMap:
          name: redis-probes
  volumeClaimTemplates:
  - metadata:
      name: data
      annotations:
    spec:
      accessModes:
        - "ReadWriteMany"
      resources:
        requests:
          storage: "10Gi"
      #修改成自己的存储类
      storageClassName: longhorn

三、执行配置文件

 kubectl apply -f   redis-cluster-sts.yaml

四、查看节点集群状态 ，主从状态

[root@xm-nano-k8s-master-113-59 ]# kubectl exec -it -n prod redis5-sentinel-0 -- sh -c redis-cli
Defaulted container "redis" out of: redis, sentinel, config-init (init)
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2
min_slaves_good_slaves:2
slave0:ip=10.42.1.155,port=6379,state=online,offset=154978,lag=0
slave1:ip=10.42.7.26,port=6379,state=online,offset=154978,lag=0
master_replid:adecf662565b1dc90eca2af58e3ebbe3ce899b45
master_replid2:7e486d561259c04f0785e1250ef089683bdc4241
master_repl_offset:155114
second_repl_offset:84363
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:74662
repl_backlog_histlen:80453

验证：master节点删除后重启，查看master是否自动漂移。Pod被删除后会自动启动，且启动成功后会自动变为Slave节点.

集群内部程序连接哨兵的地址：
创建一个Headless Service（无头服务）来管理哨兵Pod，但不提供负载均衡和ClusterIP。Headless Service会为每个哨兵Pod分配一个DNS条目，格式为<pod-name>.<service-name>.<namespace>.svc.cluster.local。

例如：redis5-sentinel-2.redis5-sentinel-headless.prod.svc.cluster.local.:26379

集群外部访问K8s的redis哨兵(gpt版本)

在Kubernetes（k8s）环境中，由于Pod的IP地址是动态分配的，并且会随着Pod的重启或重新调度而改变，因此直接在外部程序的连接配置中硬编码哨兵节点的IP地址和端口是不可行的。然而，如果你的外部程序确实需要这种配置（尽管这通常不是最佳实践），你可以采取以下几种策略：

1. 使用NodePort或LoadBalancer类型的Service

虽然这不是直接提供哨兵节点IP地址的方法，但你可以为哨兵节点创建一个或多个NodePort或LoadBalancer类型的Service。然而，请注意，这通常不是哨兵节点的标准用法，因为哨兵的主要目的是在Redis主节点故障时自动进行故障转移，而不是直接对外提供服务。

不过，如果你确实需要这样做，你可以为每个哨兵节点（或一组哨兵节点）创建一个Service，并配置为NodePort或LoadBalancer类型。然后，你可以将Service的外部IP地址（对于LoadBalancer类型）或节点的IP地址加上NodePort端口（对于NodePort类型）提供给外部程序。但是，请注意，这将为每个哨兵节点提供一个可访问的端点，而不是一个统一的哨兵服务入口。

2. 使用DNS记录或静态IP地址（如果可用）

如果你的Kubernetes集群部署在支持静态IP地址或自定义DNS记录的环境中（如某些云提供商的托管Kubernetes服务），你可以考虑为哨兵节点创建静态IP地址或DNS记录。然而，这通常需要你与你的云提供商合作，并且可能涉及到额外的成本。

3. 使用Ingress（不推荐）

Ingress通常用于HTTP/HTTPS路由，而不是TCP/UDP服务（如Redis哨兵）。因此，使用Ingress来暴露哨兵节点可能不是一个好的选择，除非你的Ingress控制器支持TCP/UDP路由，并且你愿意为此进行额外的配置。

4. 编写一个中间服务

你可以编写一个中间服务（可能是一个简单的Web服务或API），该服务运行在Kubernetes集群内部或外部，并负责查询哨兵Pod的当前IP地址和端口。然后，你的外部程序可以调用这个中间服务来获取哨兵节点的地址信息。这种方法需要额外的开发和维护工作，但它提供了最大的灵活性。

5. 使用客户端库的支持

如果可能的话，最好的解决方案是更新你的外部程序或使用的客户端库，以支持通过哨兵服务发现Redis主节点。大多数现代Redis客户端库都支持哨兵模式，并可以自动处理哨兵节点的发现和故障转移。

参考链接 ：

k8s部署redis哨兵集群_statefulset部署redis哨兵模式-CSDN博客

菠萝炒饭pineapple-boss
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于k8s部署redis一主两从三哨兵集群
makabaka1234的博客
07-08 3432
基于k8s部署redis哨兵集群
k8s部署redis一主两从三哨兵
敲代码的旺财的博客
12-17 2855
k8s部署redis一主两从三哨兵，1. 一共6个容器，1个主节点、2个从节点、3个哨兵节点。2. 编写namespace脚本，创建专门的namespace3. 编写configmap脚本，分别将主节点、从节点、哨兵的配置写在里面4. 编写secret脚本，将redis的密码保存在里面5. 编写storageClass脚本，用于自动创建磁盘资源6. 编写service脚本，1个提供redis之间的网络，1个提供哨兵之间的网络，1个对外提供服务7. 编写statefulSet脚本，1个提供redi
k8s:redis集群搭建一主二从三哨兵
tanmoney的博客
12-09 1716
redis 一主二从三哨兵模式搭建
k8s部署redis哨兵集群
weixin_36873225的博客
07-02 262
2.持久化数据选择用storageclass，动态创建pv存储，若没装动态存储需先安装：安装NFS动态存储二、创建redis配置文件。2.原Master节点宕机过程中若有数据插入，待重启成功后会变为Slave，且自动同步期间的数据，不会遗漏。待Master变为Slave后，进入新的Master节点获取集群节点数。1.Pod被删除后会自动启动，且启动成功后会自动变为Slave节点。1.基于K8s搭建部署3主3从的Redis集群哨兵模式。3.测试Slave节点数据同步情况。四、查看节点集群状态。
使用docker搭建redis一主二从三哨兵集群
01-09
这是本人在工作中搭建集群的实践经验，当时遇到很多问题，困扰了我好久，最后查看了好多文章成功解决所有问题，主从集群，哨兵监听都成功。现在分享出来，我就以一台服务器模拟搭建三台服务器的集群。请务必阅读每一...
redis一主两从三哨兵.docx
11-07
在本例中，我们使用的是一主两从的模式，即一个主节点和两个从节点。 二、Redis 哨兵机制 Redis 哨兵机制是 Redis 集群中的一种自动故障转移机制。当主节点 DOWN 时，哨兵机制可以自动将从节点提升为主节点，以...
基于Docker搭建Redis一主两从三哨兵的实现
09-09
在本文中，我们将深入探讨如何基于Docker搭建一个Redis集群，包括一主两从和三个哨兵节点。这种配置能够提供高可用性和数据复制，确保即使在主节点故障时，服务也能正常运行。 首先，我们需要了解Docker。Docker是...
k8s部署redis所需要的配置文件
04-16
在Kubernetes（k8s）环境中部署Redis集群是一项常见的任务，尤其当需要高可用性和数据持久化时。这里我们将深入探讨如何使用Redis集群，并结合Ceph作为持久化存储的配置方法。 首先，Redis是一个高性能的键值存储...
k8s集群搭建redis集群
09-22
k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群
K8S集群层面监控
s1440350254的博客
08-20 774
将 Kubernetes API 中的各种对象状态信息转化为 Prometheus 可以使用的监控指标数据。cAdvisor：用于监视容器资源使用和性能的工具，它可以收集 CPU、内存、磁盘、网络和文件系统等方面的指标数据。：用于监控主机指标数据的收集器，它可以收集 CPU 负载、内存使用情况、磁盘空间、网络流量等各种指标数据这三种工具可以协同工作，为用户提供一个全面的 Kubernetes 监控方案，帮助用户更好地了解其 Kubernetes 集群和容器化应用程序的运行情况。
【Kubernetes】K8s中Container(容器)、Pod(小组)和node(节点)概念讲解
一起加油吧
08-22 649
在 Kubernetes 中，Pod 是一个包含一个或多个容器(Container)的调度单元。因此，可以说一个 Pod 包含了一个或多个容器(Container)。具体来说：单容器 Pod：如果 Pod 只有一个容器(Container)，那么这个 Pod 实际上就只包含一个容器(Container)。多容器 Pod：如果 Pod 中有多个容器(Container)，这些容器(Container)在同一个 Pod 内部共享网络和存储资源，并且它们通常一起运行以实现某种共同的功能或服务。
K8S 版本发版
mqiqe的专栏
08-21 866
K8S（Kubernetes）版本发版是一个涉及多个步骤的过程，旨在确保应用程序的顺利升级和部署。
跟着GPT学习 Kubernetes ，简称 K8s（二）
科技追踪者的专栏
08-21 758
问：Mac M1 上可以部署k8s么？答：是的，Mac M1 上可以部署 Kubernetes，不过由于 M1 芯片基于 ARM 架构，而 Kubernetes 以及相关的工具在某些情况下可能更优化于 x86 架构，因此需要一些特殊的配置和工具。
学习笔记七：基于Jenkins+k8s+Git+DockerHub等技术链构建企业级DevOps容器云平台
weixin_43258559的博客
08-22 432
K8s版本jenkins版本：最新版。
【K8s】Java项目部署时为什么要用k8s？
小冷coding的博客
08-19 680
在 Java 项目部署中使用 Kubernetes（k8s）的重要意义。
Kuberneters Pod调度基础
最新发布
zheshijiuyue的博客
08-22 375
掌握Kubernetes Pod的调度方式。
K8S集群中驱逐节点
小橙子的笔记屋
08-22 49
K8S集群驱逐节点
运维大规模K8S集群注意事项
运维Linux和python
08-16 1019
序言闲来无事，一片混沌，想不清思不断，改变好像来自于各个方面，有的时候是内部的冲突，有的时候是外部的竞争，然而，大部分情况下，一旦错过，就已经没得选了。尴尬的处境，需要有强大的抗压能力，可能是环境带来的，可能是别人带来的，而大部分情况下，都是自己带来的。运维大规模K8S集群的注意事项1pod无法启动有几个组件的pod，有的是deployment，有的是cronj...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值