k8s上部署高可用redis集群--三主三从

最新推荐文章于 2024-04-23 08:51:41 发布
最新推荐文章于 2024-04-23 08:51:41 发布
阅读量4.4k 收藏 25
点赞数 1
分类专栏： java 文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/web18484626332/article/details/123969158
版权

K8S搭建三主三从高可用redis集群

本方案采用StatefulSet进行redis的部署。它为了解决有状态服务的问题，它所管理的Pod拥有固定的Pod名称，启停顺序。在Deployment中，与之对应的服务是service，而在StatefulSet中与之对应的headless service，headless service，即无头服务，与service的区别就是它没有Cluster IP，解析它的名称时将返回该Headless Service对应的全部Pod的Endpoint列表。
在k8s上搭建Redis sentinel完全没有意义，经过测试，当master节点宕机后，sentinel选择新的节点当主节点，当原master恢复后，此时无法再次成为集群节点。因为在物理机上部署时，sentinel探测以及更改配置文件都是以IP的形式，集群复制也是以IP的形式，但是在容器中，虽然采用的StatefulSet的Headless Service来建立的主从，但是主从建立后，master、slave、sentinel记录还是解析后的IP，但是pod的IP每次重启都会改变，所有sentinel无法识别宕机后又重新启动的master节点，所以一直无法加入集群，虽然可以通过固定pod IP或者使用NodePort的方式来固定，或者通过sentinel获取当前master的IP来修改配置文件。 sentinel实现的是高可用Redis主从，检测Redis Master的状态，进行主从切换等操作，但是在k8s中，无论是dc或者ss，都会保证pod以期望的值进行运行，再加上k8s自带的活性检测，当端口不可用或者服务不可用时会自动重启pod或者pod的中的服务，所以当在k8s中建立了Redis主从同步后，相当于已经成为了高可用状态，并且sentinel进行主从切换的时间不一定有k8s重建pod的时间快，所以个人认为在k8s上搭建sentinel没有意义。

K8s集群环境

节点

IP

master

192.168.1.100

node1

192.168.1.101

node2

192.168.1.102

node3

192.168.1.103

下载镜像经导入集群中redis:3.2.8、inem0o/redis-trib:latest
docker pull redis:3.2.8; docker save –o redis.tar redis:3.2.8
docker pull inem0o/redis-trib:latest; docker save –o redis-trib.tar inem0o/redis-trib:latest
redis.tar上传至k8s的各个node节点；redis-trib.tar上传至k8s的master节点

一、创建存储卷

创建NFS存储主要是为了给Redis提供稳定的后端存储，当Redis的Pod重启或迁移后，依然能获得原先的数据。

  1. 安装nfs软件包

    ]# yum –y install nfs-utils rpcbind #任选一台节点(这里选k8s-master)

  2. 创建共享存储

    ]# mkdir -p /usr/local/k8s/redis/pv{1…6} #创建共享目录
    ]# cat /etc/exports #配置共享路径
    /redis/pv1 192.168.1.0/24(rw,sync,no_root_squash)
    /redis/pv2 192.168.1.0/24(rw,sync,no_root_squash)
    /redis/pv3 192.168.1.0/24(rw,sync,no_root_squash)
    /redis/pv4 192.168.1.0/24(rw,sync,no_root_squash)
    /redis/pv5 192.168.1.0/24(rw,sync,no_root_squash)
    /redis/pv6 192.168.1.0/24(rw,sync,no_root_squash)
    ]# systemctl restart rpcbind;systemctl restart nfs;systemctl enable nfs

    查看共享路径
    exportfs –v #k8s-master上操作
    其他节点安装nfs客户端，并验证
    ]# yum -y install nfs-utils
    ]# showmount -e 192.168.1.100
    Export list for 192.168.1.10:
    /redis/pv1 192.168.1.0/24
    /redis/pv2 192.168.1.0/24
    /redis/pv3 192.168.1.0/24
    /redis/pv4 192.168.1.0/24
    /redis/pv5 192.168.1.0/24
    /redis/pv6 192.168.1.0/24

二、创建PV

以下操作在k8s-master上执行即可
1.每一个Redis Pod都需要一个独立的PV来存储自己的数据，因此可以创建一个pv.yaml文件，包含6个PV：

]# vim pv.yaml 
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv1
spec:
  capacity:
    storage: 2Gi
  accessModes:
- ReadWriteMany
  volumeMode: Filesystem
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis"
  nfs:
    server: 192.168.1.10
    path: "/usr/local/k8s/redis/pv1"
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-vp2
spec:
  capacity:
    storage: 2Gi
  accessModes:
- ReadWriteMany
  volumeMode: Filesystem
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis"
  nfs:
    server: 192.168.1.10
    path: "/usr/local/k8s/redis/pv2"
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv3
spec:
  capacity:
    storage: 2Gi
  accessModes:
- ReadWriteMany
  volumeMode: Filesystem
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis"
  nfs:
    server: 192.168.1.10
    path: "/usr/local/k8s/redis/pv3"
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-vp4
spec:
  capacity:
    storage: 2Gi
  accessModes:
- ReadWriteMany
  volumeMode: Filesystem
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis"
  nfs:
    server: 192.168.1.10
    path: "/usr/local/k8s/redis/pv4"
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv5
spec:
  capacity:
    storage: 2Gi
  accessModes:
- ReadWriteMany
  volumeMode: Filesystem
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis"
  nfs:
    server: 192.168.1.10
    path: "/usr/local/k8s/redis/pv5"
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-vp6
spec:
  capacity:
    storage: 2Gi
  accessModes:
- ReadWriteMany
  volumeMode: Filesystem
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: "redis"
  nfs:
    server: 192.168.1.10
    path: "/usr/local/k8s/redis/pv6"

    
]# kubectl create -f pv.yaml #创建pv存储卷
persistentvolume "nfs-pv1" created
persistentvolume "nfs-pv2" created
persistentvolume "nfs-pv3" created
persistentvolume "nfs-pv4" created
persistentvolume "nfs-pv5" created
persistentvolume "nfs-pv6" created

三、创建configmap

将Redis的配置文件转化为Configmap，这是一种更方便的配置读取方式。配置文件redis.conf如下

]# vim redis.conf
appendonly yes
cluster-enabled yes
cluster-config-file /var/lib/redis/nodes.conf
cluster-node-timeout 5000
dir /var/lib/redis
port 6379

]# kubectl create configmap redis-conf --from-file=redis.conf
]# kubectl describe cm redis-conf #查看创建的configmap:
Name:         redis-conf
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data
====
redis.conf:
----
appendonly yes
cluster-enabled yes
cluster-config-file /var/lib/redis/nodes.conf
cluster-node-timeout 5000
dir /var/lib/redis
port 6379

Events:  <none>

四、创建headless service

Headless service是StatefulSet实现稳定网络标识的基础，我们需要提前创建。准备文件headless-service.yml如下：

]# vim headless-service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: redis-service
  labels:
    app: redis
spec:
  ports:
  - name: redis-port
    port: 6379
  clusterIP: None
  selector:
app: redis

]# kubectl create -f headless-service.yml
]# kubectl get svc redis-service

五、创建redis集群节点

  1. 通过StatefulSet创建6个redis的pod ，实现3主3从的redis集群

    ]# vim redis.yaml
    apiVersion: apps/v1
    kind: StatefulSet
    metadata:
    name: redis-app
    spec:
    serviceName: “redis-service”
    replicas: 6
    selector:
    matchLabels:
    app: redis
    appCluster: redis-cluster
    template:
    metadata:
    labels:
    app: redis
    appCluster: redis-cluster
    spec:
    containers:
    - name: redis
    image: “redis:3.2.8”
    command:
    - “redis-server”
    args:
    - “/etc/redis/redis.conf”
    - “–protected-mode”
    - “no”
    resources:
    requests:
    cpu: “100m”
    memory: “100Mi”
    ports:
    - name: redis
    containerPort: 6379
    protocol: “TCP”
    - name: cluster
    containerPort: 16379
    protocol: “TCP”
    volumeMounts:
    - name: “redis-conf”
    mountPath: “/etc/redis”
    - name: “redis-data”
    mountPath: “/var/lib/redis”
    volumes:
    - name: “redis-conf”
    configMap:
    name: “redis-conf”
    items:
    - key: “redis.conf”
    path: “redis.conf”
    volumeClaimTemplates:
    - metadata:
    name: redis-data
    spec:
    accessModes: [ “ReadWriteMany” ]
    storageClassName: “redis”
    resources:
    requests:
    storage: 2Gi

    ]# kubectl create -f redis.yaml
    ]# kubectl get pods -o wide

在这里插入图片描述

六、初始化redis集群

初始化集群采用redis-trib这个工具，直接yum安装redis-trib这个软件，执行初始化
yum -y install redis-trib
]# redis-trib create --replicas 1 10.244.3.20:6379 10.244.2.42:6379 10.244.1.44:6379 10.244.2.43:6379 10.244.3.21:6379 10.244.1.45:6379
在这里插入图片描述
输入 yes 确定
在这里插入图片描述
在这里插入图片描述
或者采用部署redis-trib容器初始化：参考链接https://github.com/iNem0o/docker-redis-trib

]# docker run --rm -ti inem0o/redis-trib create --replicas 1 10.244.3.20:6379  10.244.2.42:6379  10.244.1.44:6379  10.244.2.43:6379  10.244.3.21:6379  10.244.1.45:6379    # IP为6个redis pod的IP以及端口
在提示中输入Yes继续初始化

验证集群状态，集群节点状态为OK,共有6个节点

#kubectl exec -ti redis-app-0 -- redis-cli -c
> cluster iinfo    # 查看集群状态
> role    #查看角色

在这里插入图片描述

七、创建用于访问的service

之前创建了用于实现StatefulSet的Headless Service，但该Service没有Cluster IP，因此不能用于外界访问。所以，我们还需要创建一个Service，专用于为Redis集群提供访问和负载均衡；也可以部署为Ingress供集群外部访问。这里只创建用于内部访问的service

]# vim redis-access-service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: redis-access-service
  labels:
    app: redis
spec:
  ports:
  - name: redis-port
    protocol: "TCP"
    port: 6379
    targetPort: 6379
  selector:
    app: redis
    appCluster: redis-cluster

]# kubectl create -f redis-access-service.yaml
该Service名称为 redis-access-service，在K8S集群中暴露6379端口。如果需要提供集群外部访问，可以创建NodePort或者ingress类型

八、redis主从切换测试

删除一个pod为redis的master
]# kubectl delete pods redis-app-1
pod “redis-app-0” deleted

删除pod后，k8s会自动重建一个名称为“redis-app-1”并加入到集群中，但IP不一定是原来的IP；再次查看集群角色，redis-app-1由master变为salve，集群整体依然是6个

web18484626332
关注
  • 1
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
k8s实战案例之部署redis单机和redis cluster
sdgfafg_25的博客
06-29 2372
redis是一款基于BSD协议，开源的非关系型数据库（nosql数据库），作者是意大利开发者Salvatore Sanfilippo在2009年发布，使用C语言编写；redis是基于内存存储，而且是目前比较流行的键值数据库（key-value database），它提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcache，但相比 memcache，redis 还提供了易扩展、高性能、具备数据持久性等功能。
k8s容器化搭建redis集群
DriedTears的博客
11-26 1892
快速在kubesphere中容器化搭建redis集群详细步骤
基于k8s搭建Redis Cluster集群3主3从
weixin_43972854的博客
09-08 1127
基于k8s搭建Redis Cluster集群3主3从
云原生 | k8s安装Redis集群，3主3从
最新发布
m0_70331483的博客
04-23 288
云原生 | k8s安装Redis集群，3主3从
在K8s上部署Redis 集群
sebeefe的博客
04-28 4482
一、前言 架构原理：每个Master都可以拥有多个Slave。当Master下线后，Redis集群会从多个Slave中选举出一个新的Master作为替代，而旧Master重新上线后变成新Master的Slave。 二、准备操作 本次部署主要基于该项目： https://github.com/zuxqoj/kubernetes-redis-cluster 其包含了两种部署Redis集群的方式： StatefulSet Service&Deployment 两种方式各有优劣，对于像Redis、Mong
k8s 上部署 Redis 三主三从 集群
seaskyccl的博客
01-28 696
Redis代表是一种开源的内存中数据存储，通常用作数据库，缓存或消息代理。它可以存储和操作高级数据类型，例如列表，地图，集合和排序集合。由于Redis接受多种格式的密钥，因此可以在服务器上执行操作，从而减少了客户端的工作量。它仅将磁盘用于持久性，而将数据库完全保存在内存中。Redis是一种流行的数据存储解决方案，并被GitHubPinterestSnapchatTwitterFlickr等技术巨头所使用。
Kubernetes(k8s)部署高可用多主多从的Redis集群
XiaoHH的博客
09-07 1020
Kubernetes(k8s)上部署多主多从的高可用redis集群，使用NFS动态存储，步骤超详细
k8s搭建集群模式的redis
国产-达芬奇
03-14 941
一、该搭建方式属于半自动搭建集群模式的redis，有个手动操作的过程 使用以下yaml文件，在k8s集群中执行kubectl apply -f redis.yaml 需要添加nodeselector的需要自行添加，需要修改密码和端口的可以直接修改configmap中的内容。 --- apiVersion: v1 kind: Service metadata: name: redis labels: app: redis spec: selector: app: redis.
k8s部署redis集群（方案1）
planck
07-27 2648
前置条件：创建pv，我这里使用的是nfs，做sc 配置文件： [root@master1 k8s-public-redis]# tree . ├── redis-cluster-configmap.yml └── redis-cluster-statefulset.yml 一、创建configmap redis 配置文件使用 configmap 方式进行挂载， fix-ip.sh 脚本的作用用于当 redis 集群某 pod 重建后 Pod IP 发生变化，在 /data/nodes.conf 中
redis-operator：Redis Operator通过Kubernetes上的哨兵自动故障转移创建配置管理高可用性Redis
02-03
图片Redis运算符在Kubernetes上部署操作员为了在Kubernetes集群中创建Redis故障转移，必须部署操作员。 可以通过或提供的来完成。使用部署要创建运算符，可以直接使用kubectl创建它： kubectl create -f ...
k8s部署redis所需要的配置文件
04-16
在Kubernetes（k8s）环境中部署Redis集群是一项常见的任务，尤其当需要高可用性和数据持久化时。这里我们将深入探讨如何使用Redis集群，并结合Ceph作为持久化存储的配置方法。 首先，Redis是一个高性能的键值存储...
K8s 应用 - Redis（集群）
12-21
在Kubernetes中，通过Docker容器化Redis，并结合ConfigMap、PersistentVolume和StatefulSet等K8s组件，我们可以实现高可用、可扩展的Redis集群。StatefulSet用于保证Pod的有序性和稳定的网络标识，这对于像Redis这样...
redis-enterprise-k8s-docs
04-08
下面我们将深入探讨 Redis Enterprise 在 K8s 上的部署、配置和管理，以及与数据库、缓存相关的知识。 一、Redis Enterprise 集群部署 1. StatefulSets 应用：Redis Enterprise 需要稳定的网络标识和数据存储，K8s ...
k8s-redis-cluster.tar.gz
03-01
总结起来，`k8s-redis-cluster.tar.gz`提供的是一套完整的Kubernetes部署方案，用于在集群中建立一个高可用的Redis集群。通过正确配置和使用这些文件，你可以轻松地在Kubernetes环境中管理和扩展你的Redis服务，满足...
二进制安装kubernetes三主三从高可用集群
weixin_41314837的博客
10-20 501
本文基于Kubernetes1.19版本，以二进制文件方式对如何配置，部署一个启用了安全机制、3节点高可用的Kubernetes集群进行说明。对于测试环境，可以适当进行简化，将某些组件部署为单点。
在 KubeSphere 中部署高可用 Redis 集群
KubeSphere
09-26 1192
作者：余生大大，大数据开发工程师，云原生爱好者，KubeSphere 社区用户。 前言 Redis 是在开发过程中经常用到的缓存中间件，在生产环境中为了考虑稳定性和高可用一般为集群模式的部署。 常规部署在虚拟机上的方式配置繁琐并且需要手动重启节点，而使用 K8s 进行 Redis 集群的部署有以下优点： 安装便捷：使用镜像或者 yaml 配置文件即可一件安装 自动调度：容器挂掉后会自动调度重启和资源分配 缩扩容方便：在 扩容、缩容 方面的优点无需多说，一键伸缩 稳定高效：K8s 在整个集群上进行调度，
利用k8s安装redis
k393393的博客
02-23 2926
1.在以下网页中搜索redis kubebiz官方地址 2.选择redis版本，并且修改Redis的yaml文件（也可以用json文件） 可以适用上面用到的yaml 也可以使用以下的json(以下是公司使用的json) { "apiVersion": "apps/v1", "kind": "Deployment", "metadata": { "name": "myredis", "namespace": "命名空间", "labels": { "env": "test
k8s(Kubernetes) 上部署 Redis 集群(3主3从)
风.foxwho(神秘狐)
05-20 1255
需求 k8s(Kubernetes)中安装Redis集群 使用nfs存储 部署Redis集群 3主3从 服务器内部ip：192.168.0.254 必备环境安装 ubuntu20.x 服务器 nfs服务安装 https://foxwho.blog.csdn.net/article/details/116994098 #创建nfs redis 存储目录 共 6个 mkdir -p /nfs/redis/pv{1..6} #编辑 nfs 存储配置文件 vim /etc/exports 增加或修改如下 /
k8s-redis的哨兵模式
m0_66406345的博客
06-15 1058
k8s-redis的哨兵模式
K8S部署redis高可用
04-05
在Kubernetes上部署Redis高可用可以通过Redis Sentinel或Redis Cluster来实现。这里以Redis Sentinel为例，步骤如下： 1. 创建Redis Sentinel镜像 首先需要创建Redis Sentinel镜像，可以通过以下Dockerfile创建： ``` FROM redis:5.0.7-alpine RUN apk add --no-cache --update curl COPY sentinel.conf /etc/redis/sentinel.conf CMD ["redis-sentinel", "/etc/redis/sentinel.conf"] ``` 其中sentinel.conf是Redis Sentinel的配置文件，可以在其中设置Redis实例的地址、端口等信息。 2. 创建Redis StatefulSet 接着创建Redis StatefulSet，可以参考以下yaml文件： ``` apiVersion: v1 kind: Service metadata: name: redis spec: selector: app: redis ports: - name: redis port: 6379 targetPort: 6379 clusterIP: None --- apiVersion: apps/v1 kind: StatefulSet metadata: name: redis spec: serviceName: redis replicas: 3 selector: matchLabels: app: redis template: metadata: labels: app: redis spec: containers: - name: redis image: redis:5.0.7-alpine command: - redis-server - /etc/redis/redis.conf volumeMounts: - name: redis-config mountPath: /etc/redis - name: sentinel image: my-redis-sentinel:latest volumeMounts: - name: sentinel-config mountPath: /etc/redis volumes: - name: redis-config configMap: name: redis-config - name: sentinel-config configMap: name: sentinel-config volumeClaimTemplates: - metadata: name: data annotations: volume.beta.kubernetes.io/storage-class: "gp2" spec: accessModes: [ "ReadWriteOnce" ] resources: requests: storage: 1Gi ``` 其中，StatefulSet中有两个容器：一个是Redis容器，一个是Redis Sentinel容器。Redis容器使用Redis官方镜像，Redis Sentinel容器使用自己创建的Redis Sentinel镜像。同时，还需要创建两个ConfigMap，一个用于Redis配置，一个用于Redis Sentinel配置。 3. 部署Redis Sentinel 最后部署Redis Sentinel，可以参考以下yaml文件： ``` apiVersion: apps/v1 kind: Deployment metadata: name: redis-sentinel spec: replicas: 3 selector: matchLabels: app: redis-sentinel template: metadata: labels: app: redis-sentinel spec: containers: - name: redis-sentinel image: my-redis-sentinel:latest command: - redis-sentinel - /etc/redis/sentinel.conf volumeMounts: - name: sentinel-config mountPath: /etc/redis volumes: - name: sentinel-config configMap: name: sentinel-config ``` 通过部署Redis Sentinel，可以实现Redis集群的高可用。如果Redis主节点出现故障，Redis Sentinel会自动将从节点升级为主节点，从而保证Redis集群的可用性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值