K8s（13）——statefulset控制器

fx_872431785

已于 2023-06-11 21:10:03 修改

阅读量395

点赞数

文章标签： kubernetes 运维 linux

于 2023-04-14 18:36:20 首次发布

本文链接：https://blog.csdn.net/m0_46652469/article/details/130159278

版权

什么是statefulset控制器

mysql主从部署

什么是statefulset控制器

StatefulSet是有状态的集合，管理有状态的服务，它所管理的Pod的名称不能随意变化。数据持久化的目录也是不一样，每一个Pod都有自己独有的数据持久化存储目录。比如MySQL主从、redis集群等。所以用到卷。

StatefulSet将应用状态抽象成了两个条件：
（1）拓扑状态：应用实例必须按照某种顺序启动。新创建的Pod必须和原来Pod的网络标识一致（稳定的状态）
（2）存储状态：应用的多个实例分别绑定了不同存储数据（动态数据卷）

StatefulSet给所有的Pod进行了编号，编号规则是：$(statefulset名称)-$(序号)，从0开始。创建时，是一个创建成功再创建下一个。回收时一个一个删除，不能直接用delete（会同时删除，乱了，没有序了），删除的方式是把文件中的副本数量改为0，再次应用，就会删除，后创建的先删除，一个接一个删除

Pod被删除后重建，重建Pod的网络标识也不会改变,Pod的拓扑状态按照Pod的“名字+编号”的方式固定下来,并且为每个Pod提供了一个固定且唯一的访问入口,即Pod对应的DNS记录。副本数量变为0，删除了容器，但是数据卷还是在的。等我们再次创建三个副本pod，web-0，web-1，web-2还是对应以前存在的数据卷，不会错乱。

创建目录并进入，编辑yaml文件

[root@k8s2 statefulset]# vim headless.yaml

apiVersion: v1

kind: Service

metadata:

name: nginx-svc

labels:

app: nginx

spec:

ports:

- port: 80

name: web

clusterIP: None

selector:

app: nginx

运行

[root@k8s2 statefulset]# kubectl apply -f headless.yaml

查看，但此时还没有后端endpoint

[root@k8s2 statefulset]# kubectl get svc

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 6d23h

nginx-svc ClusterIP None <none> 80/TCP 2s

编辑statefulset.yaml 文件，使用StatefulSet控制器产生pod

[root@k8s2 statefulset]# vim statefulset.yaml

apiVersion: apps/v1

kind: StatefulSet

metadata:

name: web

spec:

serviceName: "nginx-svc"

replicas: 3

selector:

matchLabels:

app: nginx

template:

metadata:

labels:

app: nginx

spec:

containers:

- name: nginx

image: nginx

volumeMounts:

- name: www

mountPath: /usr/share/nginx/html

volumeClaimTemplates:

- metadata:

name: www

spec:

storageClassName: nfs-client

accessModes:

- ReadWriteOnce

resources:

requests:

storage: 1Gi

[root@k8s2 statefulset]# kubectl apply -f statefulset.yaml

可以看见pod一个一个生成，并且编号

[root@k8s2 statefulset]# kubectl get pod

NAME READY STATUS RESTARTS AGE

web-0 1/1 Running 0 75s

web-1 1/1 Running 0 5s

web-2 1/1 Running 0 4s

在nfs输出目录创建测试页

PV和PVC的设计，使得StatefulSet对存储状态的管理成为了可能

进入demo，curl+服务名字，测试是负载均衡的

[root@k8s2 statefulset]# kubectl run demo --image busyboxplus -it

/ # curl web-0.nginx-svc

web-0

/ # curl web-1.nginx-svc

web-1

/ # curl web-2.nginx-svc

web-2

statefulset有序回收

先把statefulset.yaml 文件中的副本数量变为0，

kubectl scale statefulsets web --replicas=0

[root@k8s2 statefulset]# kubectl delete -f statefulset.yaml

[root@k8s2 mysql]# kubectl delete pvc --all

mysql主从部署

官方的例子statefulset学习使用

三个myspl，使用statefulset有序创建mysql-0 ,1,2。使用configmap分别存放master.cnf和slave.cnf，使用headless对pod内每个myspl做唯一解析，提供写的功能（myspl-0），clusterIP提供读的功能。

官网：https://kubernetes.io/zh-cn/docs/tasks/run-application/run-replicated-stateful-application/

拉取Mysql5.7的镜像

上传镜像

master端启动二进制日志，从节点上只读

[root@k8s2 mysql]# vim configmap.yaml

apiVersion: v1

kind: ConfigMap

metadata:

name: mysql

labels:

app: mysql

app.kubernetes.io/name: mysql

data:

primary.cnf: |

[mysqld]

log-bin

replica.cnf: |

[mysqld]

super-read-only

[root@k8s2 mysql]# kubectl apply -f configmap.yaml

可看见把两个k-v放进去了

接着创建两个svc

[root@k8s2 mysql]# vim svc.yaml

apiVersion: v1

kind: Service

metadata:

name: mysql

labels:

app: mysql

app.kubernetes.io/name: mysql

spec:

ports:

- name: mysql

port: 3306

clusterIP: None

selector:

app: mysql

---

apiVersion: v1

kind: Service

metadata:

name: mysql-read

labels:

app: mysql

app.kubernetes.io/name: mysql

readonly: "true"

spec:

ports:

- name: mysql

port: 3306

selector:

app: mysql

[root@k8s2 mysql]# kubectl apply -f svc.yaml

一个mysql一个mysql-read

[root@k8s2 mysql]# kubectl get svc

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 7d

mysql ClusterIP None <none> 3306/TCP 23m

mysql-read ClusterIP 10.98.32.113 <none> 3306/TCP 23m

复制模板，进行修改

[root@k8s2 mysql]# vim statefulset.yaml

apiVersion: apps/v1

kind: StatefulSet

metadata:

name: mysql

spec:

selector:

matchLabels:

app: mysql

app.kubernetes.io/name: mysql

serviceName: mysql

replicas: 3 #副本数

template:

metadata:

labels:

app: mysql

app.kubernetes.io/name: mysql

spec:

initContainers:

- name: init-mysql

image: mysql:5.7

command:

- bash

- "-c"

- |

set -ex

# 基于 Pod 序号生成 MySQL 服务器的 ID。

[[ $HOSTNAME =~ -([0-9]+)$ ]] || exit 1

ordinal=${BASH_REMATCH[1]}

echo [mysqld] > /mnt/conf.d/server-id.cnf

# 添加偏移量以避免使用 server-id=0 这一保留值。

echo server-id=$((100 + $ordinal)) >> /mnt/conf.d/server-id.cnf

# 将合适的 conf.d 文件从 config-map 复制到 emptyDir。

if [[ $ordinal -eq 0 ]]; then

cp /mnt/config-map/primary.cnf /mnt/conf.d/

else

cp /mnt/config-map/replica.cnf /mnt/conf.d/

fi

volumeMounts:

- name: conf

mountPath: /mnt/conf.d

- name: config-map

mountPath: /mnt/config-map

- name: clone-mysql #克隆，同一base

image: xtrabackup:1.0

command:

- bash

- "-c"

- |

set -ex

# 如果已有数据，则跳过克隆。

[[ -d /var/lib/mysql/mysql ]] && exit 0

# 跳过主实例（序号索引 0）的克隆。

[[ `hostname` =~ -([0-9]+)$ ]] || exit 1

ordinal=${BASH_REMATCH[1]}

[[ $ordinal -eq 0 ]] && exit 0

# 从原来的对等节点克隆数据。

ncat --recv-only mysql-$(($ordinal-1)).mysql 3307 | xbstream -x -C /var/lib/mysql

# 准备备份。

xtrabackup --prepare --target-dir=/var/lib/mysql

volumeMounts:

- name: data

mountPath: /var/lib/mysql

subPath: mysql

- name: conf

mountPath: /etc/mysql/conf.d

containers:

- name: mysql

image: mysql:5.7

env:

- name: MYSQL_ALLOW_EMPTY_PASSWORD

value: "1"

ports:

- name: mysql

containerPort: 3306

volumeMounts:

- name: data

mountPath: /var/lib/mysql

subPath: mysql

- name: conf

mountPath: /etc/mysql/conf.d

resources:

requests:

cpu: 500m

memory: 512Mi #此处根据自身配置情况修改

livenessProbe: #探针。检测是否存活

exec:

command: ["mysqladmin", "ping"]

initialDelaySeconds: 30

periodSeconds: 10

timeoutSeconds: 5

readinessProbe: #就绪探针

exec:

# 检查我们是否可以通过 TCP 执行查询（skip-networking 是关闭的）。

command: ["mysql", "-h", "127.0.0.1", "-e", "SELECT 1"] #尝试连接

initialDelaySeconds: 5

periodSeconds: 2

timeoutSeconds: 1

- name: xtrabackup

image: xtrabackup:1.0

ports:

- name: xtrabackup

containerPort: 3307

command:

- bash

- "-c"

- |

set -ex

cd /var/lib/mysql

# 确定克隆数据的 binlog 位置（如果有的话）。

if [[ -f xtrabackup_slave_info && "x$(<xtrabackup_slave_info)" != "x" ]]; then

# XtraBackup 已经生成了部分的 “CHANGE MASTER TO” 查询

# 因为我们从一个现有副本进行克隆。(需要删除末尾的分号!)

cat xtrabackup_slave_info | sed -E 's/;$//g' > change_master_to.sql.in

# 在这里要忽略 xtrabackup_binlog_info （它是没用的）。

rm -f xtrabackup_slave_info xtrabackup_binlog_info

elif [[ -f xtrabackup_binlog_info ]]; then

# 我们直接从主实例进行克隆。解析 binlog 位置。

[[ `cat xtrabackup_binlog_info` =~ ^(.*?)[[:space:]]+(.*?)$ ]] || exit 1

rm -f xtrabackup_binlog_info xtrabackup_slave_info

echo "CHANGE MASTER TO MASTER_LOG_FILE='${BASH_REMATCH[1]}',\

MASTER_LOG_POS=${BASH_REMATCH[2]}" > change_master_to.sql.in

fi

# 检查我们是否需要通过启动复制来完成克隆。

if [[ -f change_master_to.sql.in ]]; then

echo "Waiting for mysqld to be ready (accepting connections)"

until mysql -h 127.0.0.1 -e "SELECT 1"; do sleep 1; done

echo "Initializing replication from clone position"

mysql -h 127.0.0.1 \

-e "$(<change_master_to.sql.in), \

MASTER_HOST='mysql-0.mysql', \

MASTER_USER='root', \

MASTER_PASSWORD='', \

MASTER_CONNECT_RETRY=10; \

START SLAVE;" || exit 1

# 如果容器重新启动，最多尝试一次。

mv change_master_to.sql.in change_master_to.sql.orig

fi

# 当对等点请求时，启动服务器发送备份。

exec ncat --listen --keep-open --send-only --max-conns=1 3307 -c \

"xtrabackup --backup --slave-info --stream=xbstream --host=127.0.0.1 --user=root"

volumeMounts:

- name: data

mountPath: /var/lib/mysql

subPath: mysql

- name: conf

mountPath: /etc/mysql/conf.d

resources:

requests:

cpu: 100m

memory: 100Mi

volumes:

- name: conf

emptyDir: {}

- name: config-map

configMap:

name: mysql

volumeClaimTemplates:

- metadata:

name: data

spec:

accessModes: ["ReadWriteOnce"]

resources:

requests:

storage: 10Gi

[root@k8s2 mysql]# kubectl apply -f statefulset.yaml

分别启动三个mysql副本，每个pod都启动两个容器，mysql和xtrabackup，后面的直接从前面取数据，如mysql2直接从mysql1取，slave复制slave数据更方便

查看mysql-1日志，执行change，并且通过headless服务定向到主机musql-0，密码为空，通过管理员连接。开启slave

查看三个全部开启

[root@k8s2 mysql]# kubectl get pod

NAME READY STATUS RESTARTS AGE

mysql-0 2/2 Running 0 13m

mysql-1 2/2 Running 0 6m51s

mysql-2 2/2 Running 0 4m3s

连接测试

[root@k8s2 mysql]# kubectl run demo --image mysql:5.7 -it -- bash

If you don't see a command prompt, try pressing enter.

bash-4.2# mysql -h mysql-0.mysql

mysql> show databases;

...

在mysql-0创建数据表，并写入数据

在mysql-1和mysql-2查看，成功同步

回收，先将副本数改为0，然后删掉yaml，还有pvc

[root@k8s2 mysql]# kubectl delete -f statefulset.yaml

[root@k8s2 mysql]# kubectl delete pvc --all

fx_872431785

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
K8s（13）——statefulset控制器

StatefulSet是有状态的集合，管理有状态的服务，它所管理的Pod的名称不能随意变化。数据持久化的目录也是不一样，每一个Pod都有自己独有的数据持久化存储目录。比如MySQL主从、redis集群等。所以用到卷。StatefulSet将应用状态抽象成了两个条件：（1）拓扑状态：应用实例必须按照某种顺序启动。新创建的Pod必须和原来Pod的网络标识一致（稳定的状态）（2）存储状态：应用的多个实例分别绑定了不同存储数据（动态数据卷）
复制链接

扫一扫