Kubernetes精讲之存储

最新推荐文章于 2024-09-12 17:37:20 发布
最新推荐文章于 2024-09-12 17:37:20 发布
阅读量1.4k 收藏 10
点赞数 16
分类专栏： 运维 文章标签： kubernetes 容器 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m2282475145/article/details/142174155
版权

目录

一 configmap

1.1 configmap的功能

1.2 configmap的使用场景

1.3 configmap创建方式

1.3.1 字面值创建

1.3.2 通过文件创建

1.3.3 通过目录创建

1.3.4 通过yaml文件创建

1.3.5 configmap的使用方式

1.3.5.1 使用configmap填充环境变量

1.3.5.2 通过数据卷使用configmap

1.3.5.3 利用configMap填充pod的配置文件

1.3.5.4 通过热更新cm修改配置

二 secrets配置管理

2.1 secrets的功能介绍

2.2 secrets的创建

2.2.1从文件创建

编写yaml文件

2.3 Secret的使用方法

2.3.1 将Secret挂载到Volume中

2.3.2 向指定路径映射 secret 密钥

2.3.3 将Secret设置为环境变量

2.3.4 存储docker registry的认证信息

三 volumes配置管理

3.1 kubernets支持的卷的类型

3.2 emptyDir卷

3.3 hostpath卷

3.4 nfs卷

3.4.1 部署一台nfs共享主机并在所有k8s节点中安装nfs-utils

3.4.2 部署nfs卷

3.5 PersistentVolume持久卷

3.5.1 静态持久卷pv与静态持久卷声明pvc

PersistentVolume（持久卷，简称PV）

PersistentVolumeClaim（持久卷声明，简称PVC）

volumes访问模式

volumes回收策略

volumes状态说明

静态pv实例：

在pod中使用pvc

四 存储类storageclass

4.1 StorageClass说明

4.2 StorageClass的属性

4.3 存储分配器NFS Client Provisioner

4.4 部署NFS Client Provisioner

4.4.1 创建sa并授权

4.4.2 部署应用

4.4.3 创建存储类

4.4.4 创建pvc

4.4.5 创建测试pod

4.4.6 设置默认存储类

五 statefulset控制器

5.1 功能特性

5.2 StatefulSet的组成部分

5.3 构建方法

5.4 测试：

5.5 statefulset的弹缩

一 configmap

1.1 configmap的功能

  • configMap用于保存配置数据，以键值对形式存储。
  • configMap 资源提供了向 Pod 注入配置数据的方法。
  • 镜像和配置文件解耦，以便实现镜像的可移植性和可复用性。
  • etcd限制了文件大小不能超过1M

1.2 configmap的使用场景

  • 填充环境变量的值
  • 设置容器内的命令行参数
  • 填充卷的配置文件

1.3 configmap创建方式

1.3.1 字面值创建

[root@K8s-master ~]# kubectl create configmap userlist --from-literal  fname=haha --from-literal lname=redhat
configmap/userlist created

[root@K8s-master ~]# kubectl describe configmaps userlist 
Name:         userlist
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data                  #键值信息显示
====
fname:
----
haha
lname:
----
redhat

BinaryData
====

Events:  <none>

1.3.2 通过文件创建

[root@K8s-master ~]# cat /etc/resolv.conf
# Generated by NetworkManager
nameserver 114.114.114.114

[root@K8s-master ~]#  kubectl create cm haha --from-file /etc/resolv.conf
configmap/haha created

[root@K8s-master ~]# kubectl describe cm haha
Name:         haha
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data
====
resolv.conf:
----
# Generated by NetworkManager
nameserver 114.114.114.114


BinaryData
====

Events:  <none>

1.3.3 通过目录创建

[root@K8s-master ~]# mkdir haha
[root@K8s-master ~]# cp /etc/fstab /etc/rc.d/rc.local  haha/

[root@K8s-master ~]# kubectl create cm haha3 --from-file haha/
configmap/haha3 created
[root@K8s-master ~]# kubectl describe cm haha3
Name:         haha3
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data
====
fstab:
----

#
# /etc/fstab
# Created by anaconda on Tue Jul 30 14:59:55 2024
#
# Accessible filesystems, by reference, are maintained under '/dev/disk/'.
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.
#
# After editing this file, run 'systemctl daemon-reload' to update systemd
# units generated from this file.
#
/dev/mapper/rhel-root   /                       xfs     defaults        0 0
UUID=a7e1b327-b16e-4720-a287-3cd97c041077 /boot                   xfs     defaults        0 0
#/dev/mapper/rhel-swap   none                    swap    defaults        0 0

rc.local:
----
#!/bin/bash
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.

touch /var/lock/subsys/local
mount /dev/sr0 /rhel9


BinaryData
====

Events:  <none>

1.3.4 通过yaml文件创建

[root@K8s-master ~]# kubectl create cm haha4 --from-literal db_host=172.25.254.100 --from-literal db_port=3306 --dry-run=client -o yaml > haha.yaml

[root@K8s-master ~]# vim haha.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: haha4
data:
  db_host: 172.25.254.100
  db_port: "3306"

[root@K8s-master ~]# kubectl apply -f haha.yaml 
configmap/haha4 created
[root@K8s-master ~]# kubectl describe cm haha4
Name:         haha4
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data
====
db_host:
----
172.25.254.100
db_port:
----
3306

BinaryData
====

Events:  <none>

1.3.5 configmap的使用方式

  • 通过环境变量的方式直接传递给pod
  • 通过pod的 命令行运行方式
  • 作为volume的方式挂载到pod内
1.3.5.1 使用configmap填充环境变量

#讲cm中的内容映射为指定变量

#讲cm中的内容映射为指定变量
[root@K8s-master ~]# vim testpod1.yml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: testpod1
  name: testpod1
spec:
  containers:
  - image: busyboxplus:latest
    name: testpod1
    command:
    - /bin/sh
    - -c
    - env
    env:
    - name: key1
      valueFrom:
        configMapKeyRef:
          name: haha4
          key: db_host
    - name: key2
      valueFrom:
        configMapKeyRef:
          name: haha4
          key: db_port
  restartPolicy: Never

[root@K8s-master ~]# kubectl apply -f testpod1.yml
pod/testpod created

#查看日志
[root@K8s-master ~]# kubectl logs pods/testpod1
KUBERNETES_SERVICE_PORT=443
KUBERNETES_PORT=tcp://10.96.0.1:443
MYAPP_V1_SERVICE_HOST=10.102.142.86
HOSTNAME=testpod1
SHLVL=1
MYAPP_V2_SERVICE_HOST=10.99.120.99
HOME=/
MYAPP_V1_PORT=tcp://10.102.142.86:80
MYAPP_V1_SERVICE_PORT=80
MYAPP_V2_PORT=tcp://10.99.120.99:80
MYAPP_V2_SERVICE_PORT=80
MYAPP_V1_PORT_80_TCP_ADDR=10.102.142.86
MYAPP_V2_PORT_80_TCP_ADDR=10.99.120.99
KUBERNETES_PORT_443_TCP_ADDR=10.96.0.1
MYAPP_V1_PORT_80_TCP_PORT=80
MYAPP_V1_PORT_80_TCP_PROTO=tcp
MYAPP_V2_PORT_80_TCP_PORT=80
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
KUBERNETES_PORT_443_TCP_PORT=443
MYAPP_V2_PORT_80_TCP_PROTO=tcp
KUBERNETES_PORT_443_TCP_PROTO=tcp
key1=172.25.254.100
key2=3306
MYAPP_V1_PORT_80_TCP=tcp://10.102.142.86:80
MYAPP_V2_PORT_80_TCP=tcp://10.99.120.99:80
KUBERNETES_SERVICE_PORT_HTTPS=443
KUBERNETES_PORT_443_TCP=tcp://10.96.0.1:443
PWD=/
KUBERNETES_SERVICE_HOST=10.96.0.1

#把cm中的值直接映射为变量

[root@K8s-master ~]# vim testpod2.yml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: testpod2
  name: testpod2
spec:
  containers:
  - image: busyboxplus:latest
    name: testpod2
    command:
    - /bin/sh
    - -c
    - env
    envFrom:
    - configMapRef:
        name: haha4
  restartPolicy: Never

#查看日志
[root@K8s-master ~]# kubectl apply -f testpod2.yml 
pod/testpod2 created

[root@K8s-master ~]# kubectl logs pods/testpod2
KUBERNETES_SERVICE_PORT=443
KUBERNETES_PORT=tcp://10.96.0.1:443
MYAPP_V1_SERVICE_HOST=10.102.142.86
HOSTNAME=testpod2
SHLVL=1
MYAPP_V2_SERVICE_HOST=10.99.120.99
HOME=/
db_port=3306
MYAPP_V1_SERVICE_PORT=80
MYAPP_V1_PORT=tcp://10.102.142.86:80
MYAPP_V2_SERVICE_PORT=80
MYAPP_V2_PORT=tcp://10.99.120.99:80
MYAPP_V1_PORT_80_TCP_ADDR=10.102.142.86
MYAPP_V2_PORT_80_TCP_ADDR=10.99.120.99
KUBERNETES_PORT_443_TCP_ADDR=10.96.0.1
MYAPP_V1_PORT_80_TCP_PORT=80
MYAPP_V2_PORT_80_TCP_PORT=80
MYAPP_V1_PORT_80_TCP_PROTO=tcp
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
KUBERNETES_PORT_443_TCP_PORT=443
MYAPP_V2_PORT_80_TCP_PROTO=tcp
KUBERNETES_PORT_443_TCP_PROTO=tcp
MYAPP_V1_PORT_80_TCP=tcp://10.102.142.86:80
MYAPP_V2_PORT_80_TCP=tcp://10.99.120.99:80
KUBERNETES_SERVICE_PORT_HTTPS=443
KUBERNETES_PORT_443_TCP=tcp://10.96.0.1:443
PWD=/
KUBERNETES_SERVICE_HOST=10.96.0.1
db_host=172.25.254.100

#把cm中的值直接映射为变量

[root@K8s-master ~]# vim testpod3.yml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: testpod3
  name: testpod3
spec:
  containers:
  - image: busyboxplus:latest
    name: testpod3
    command:
    - /bin/sh
    - -c
    - echo ${db_host} ${db_port}        
    envFrom:
    - configMapRef:
        name: haha4
  restartPolicy: Never


[root@K8s-master ~]# kubectl apply -f  testpod3.yml 
pod/testpod3 created

#查看日志
[root@K8s-master ~]# kubectl logs pods/testpod3
172.25.254.100 3306

1.3.5.2 通过数据卷使用configmap
[root@k8s-master ~]# vim testpod4.yml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: testpod4
  name: testpod4
spec:
  containers:
  - image: busyboxplus:latest
    name: testpod4
    command:
    - /bin/sh
    - -c
    - cat /config/db_host
    volumeMounts:                   #调用卷策略
    - name: config-volume           #卷名称
      mountPath: /config
  volumes:                          #声明卷的配置
  - name: config-volume             #卷名称
    configMap:
      name: haha4
  restartPolicy: Never

#确保haha4在使用
[root@K8s-master ~]# kubectl apply -f haha.yaml
[root@K8s-master ~]# cat haha.yaml 
apiVersion: v1
kind: ConfigMap
metadata:
  name: haha4
data:
  db_host: 172.25.254.100
  db_port: "3306"


#启动
[root@K8s-master ~]# kubectl apply -f testpod4.yml 

#查看日志
[root@K8s-master ~]# kubectl logs pods/testpod4 
172.25.254.100

1.3.5.3 利用configMap填充pod的配置文件
#建立配置文件模板
[root@k8s-master ~]# vim nginx.conf
server {
  listen 8000;
  server_name _;
  root /usr/share/nginx/html;
  index index.html;
}

#利用模板生成cm
[root@K8s-master ~]# kubectl create cm nginx-conf --from-file nginx.conf
configmap/nginx-conf created

[root@K8s-master ~]# kubectl describe cm nginx-conf
Name:         nginx-conf
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data
====
nginx.conf:
----
server {
  listen 8000;
  server_name _;
  root /usr/share/nginx/html;
  index index.html;
}


BinaryData
====

Events:  <none>

#建立nginx控制器文件
[root@K8s-master ~]# kubectl create deployment nginx --image nginx:latest --replicas 1 --dry-run=client -o yaml > nginx.yml

#设定nginx.yml中的卷
[root@K8s-master ~]# vim nginx.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:latest
        name: nginx
        volumeMounts:
        - name: config-volume
          mountPath: /etc/nginx/conf.d

      volumes:
        - name: config-volume
          configMap:
            name: nginx-conf

[root@K8s-master ~]# kubectl apply -f nginx.yml 
deployment.apps/nginx created
[root@K8s-master ~]# kubectl get pods -o wide
NAME                        READY   STATUS      RESTARTS   AGE     IP            NODE        NOMINATED NODE   READINESS GATES
haha-8545d569f4-f5c79       1/1     Running     0          2d      10.244.2.60   k8s-node2   <none>           <none>
myapp-v1-7479d6c54d-5f742   1/1     Running     0          5h24m   10.244.1.78   k8s-node1   <none>           <none>
myapp-v2-7cd6d597d-zb6bt    1/1     Running     0          5h24m   10.244.1.79   k8s-node1   <none>           <none>
nginx-8487c65cfc-x77wf      1/1     Running     0          3s      10.244.1.88   k8s-node1   <none>           <none>
testpod4                    0/1     Completed   0          6m14s   10.244.1.87   k8s-node1   <none>           <none>

#测试
[root@K8s-master ~]# curl 10.244.1.88:8000
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

1.3.5.4 通过热更新cm修改配置
[root@K8s-master ~]# kubectl edit cm nginx-conf
# Please edit the object below. Lines beginning with a '#' will be ignored,
# and an empty file will abort the edit. If an error occurs while saving this file will be
# reopened with the relevant failures.
#
apiVersion: v1
data:
  nginx.conf: |
    server {
      listen 8080;    #端口改为8080
      server_name _;
      root /usr/share/nginx/html;
      index index.html;
    }
kind: ConfigMap
metadata:
  creationTimestamp: "2024-09-08T17:00:26Z"
  name: nginx-conf
  namespace: default
  resourceVersion: "188154"
  uid: f9279ae4-3030-4b58-bd0e-cb174b24e33c

#修改之后pod要重启
[root@K8s-master ~]# kubectl delete pods nginx-8487c65cfc-x77wf
pod "nginx-8487c65cfc-x77wf" deleted
[root@K8s-master ~]# kubectl get pods -o wide 
NAME                        READY   STATUS      RESTARTS   AGE     IP            NODE        NOMINATED NODE   READINESS GATES
haha-8545d569f4-f5c79       1/1     Running     0          2d      10.244.2.60   k8s-node2   <none>           <none>
myapp-v1-7479d6c54d-5f742   1/1     Running     0          5h28m   10.244.1.78   k8s-node1   <none>           <none>
myapp-v2-7cd6d597d-zb6bt    1/1     Running     0          5h28m   10.244.1.79   k8s-node1   <none>           <none>
nginx-8487c65cfc-hr85j      1/1     Running     0          9s      10.244.2.65   k8s-node2   <none>           <none>
testpod4                    0/1     Completed   0          10m     10.244.1.87   k8s-node1   <none>           <none>
[root@K8s-master ~]# curl 10.244.2.65:8080
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

配置文件修改后不会生效，需要删除pod后控制器会重建pod，这时就生效了

二 secrets配置管理

2.1 secrets的功能介绍

  • Secret 对象类型用来保存敏感信息，例如密码、OAuth 令牌和 ssh key。
  • 敏感信息放在 secret 中比放在 Pod 的定义或者容器镜像中来说更加安全和灵活
  • Pod 可以用两种方式使用 secret：
    • 作为 volume 中的文件被挂载到 pod 中的一个或者多个容器里。
    • 当 kubelet 为 pod 拉取镜像时使用。
  • Secret的类型：
    • Service Account：Kubernetes 自动创建包含访问 API 凭据的 secret，并自动修改 pod 以使用此类型的 secret。
    • Opaque：使用base64编码存储信息，可以通过base64 --decode解码获得原始数据，因此安全性弱。
    • kubernetes.io/dockerconfigjson：用于存储docker registry的认证信息

2.2 secrets的创建

在创建secrets时我们可以用命令的方法或者yaml文件的方法

2.2.1从文件创建

[root@K8s-master ~]# mkdir secrets
[root@K8s-master ~]# cd secrets/
#-n是防止换行
[root@K8s-master secrets]# echo -n haha > username.txt
[root@K8s-master secrets]# echo -n redhat > password.txt

#开始建立
[root@K8s-master secrets]#  kubectl create secret generic userlist --from-file username.txt --from-file password.txt
secret/userlist created

#查看，发现无法查看
[root@K8s-master secrets]# kubectl describe secrets userlist 
Name:         userlist
Namespace:    default
Labels:       <none>
Annotations:  <none>

Type:  Opaque

Data
====
password.txt:  6 bytes
username.txt:  4 bytes

#查看
[root@K8s-master secrets]# kubectl get secrets userlist -o yaml
apiVersion: v1
data:
  password.txt: cmVkaGF0
  username.txt: aGFoYQ==
kind: Secret
metadata:
  creationTimestamp: "2024-09-08T15:09:12Z"
  name: userlist
  namespace: default
  resourceVersion: "176995"
  uid: e381ae85-82c6-4d2c-88bc-f16de34587eb
type: Opaque

编写yaml文件

[root@K8s-master secrets]# echo -n haha | base64
aGFoYQ==
[root@K8s-master secrets]# echo -n redhat | base64
cmVkaGF0

[root@K8s-master ~]# vim userlist.yml
apiVersion: v1
kind: Secret
metadata:
  creationTimestamp: null
  name: userlist
type: Opaque
data:
  username: aGFoYQ==
  password: cmVkaGF0

[root@K8s-master ~]# kubectl apply -f userlist.yml 
secret/userlist configured
[root@K8s-master ~]# kubectl describe secrets userlist
Name:         userlist
Namespace:    default
Labels:       <none>
Annotations:  <none>

Type:  Opaque

Data
====
password.txt:  6 bytes
username:      4 bytes
username.txt:  4 bytes
password:      6 bytes

2.3 Secret的使用方法

2.3.1 将Secret挂载到Volume中

[root@k8s-master secrets]# kubectl run  nginx --image nginx --dry-run=client -o yaml > pod1.yaml

#向固定路径映射
[root@k8s-master secrets]# vim pod1.yaml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: nginx
  name: nginx
spec:
  containers:
  - image: nginx
    name: nginx
    volumeMounts:
    - name: secrets
      mountPath: /secret
      readOnly: true     #只读

  volumes:
  - name: secrets
    secret:
      secretName: userlist

[root@k8s-master secrets]# kubectl apply -f pod1.yaml
pod/nginx created


[root@k8s-master secrets]# kubectl exec  pods/nginx -it -- /bin/bash
root@nginx:/# cat /secret/
cat: /secret/: Is a directory
root@nginx:/# cd /secret/
root@nginx:/secret# ls
password  username
root@nginx:/secret# cat password
leeroot@nginx:/secret# cat username
timingleeroot@nginx:/secret#

2.3.2 向指定路径映射 secret 密钥

#向指定路径映射
[root@k8s-master secrets]# vim pod2.yaml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: nginx1
  name: nginx1
spec:
  containers:
  - image: nginx
    name: nginx1
    volumeMounts:
    - name: secrets
      mountPath: /secret
      readOnly: true

  volumes:
  - name: secrets
    secret:
      secretName: userlist
      items:
      - key: username
        path: my-users/username

[root@K8s-master secrets]# kubectl apply -f pod2.yaml
pod/nginx1 created
[root@K8s-master secrets]# kubectl exec  pods/nginx1 -it -- /bin/bash
root@nginx1:/# cd secret/
root@nginx1:/secret# ls
my-users
root@nginx1:/secret# cd my-users
root@nginx1:/secret/my-users# ls
username
root@nginx1:/secret/my-users# cat username
haharoot@nginx1:/secret/my-users#

2.3.3 将Secret设置为环境变量

[root@k8s-master secrets]# vim pod3.yaml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: busybox
  name: busybox
spec:
  containers:
  - image: busybox
    name: busybox
    command:
    - /bin/sh
    - -c
    - env
    env:
    - name: USERNAME
      valueFrom:
        secretKeyRef:
          name: userlist
          key: username
    - name: PASS
      valueFrom:
        secretKeyRef:
          name: userlist
          key: password
  restartPolicy: Never

[root@k8s-master secrets]# kubectl apply -f pod3.yaml
pod/busybox created
[root@K8s-master secrets]# kubectl apply -f pod3.yaml
pod/busybox created
[root@K8s-master secrets]# kubectl logs pods/busybox
KUBERNETES_SERVICE_PORT=443
KUBERNETES_PORT=tcp://10.96.0.1:443
HOSTNAME=busybox
SHLVL=1
HOME=/root
USERNAME=haha
KUBERNETES_PORT_443_TCP_ADDR=10.96.0.1
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
KUBERNETES_PORT_443_TCP_PORT=443
KUBERNETES_PORT_443_TCP_PROTO=tcp
PASS=redhat
KUBERNETES_SERVICE_PORT_HTTPS=443
KUBERNETES_PORT_443_TCP=tcp://10.96.0.1:443
KUBERNETES_SERVICE_HOST=10.96.0.1
PWD=/

2.3.4 存储docker registry的认证信息

建立私有仓库并上传镜像

[root@K8s-master secrets]# docker login reg.harbor.org
Authenticating with existing credentials...
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credential-stores

Login Succeeded
[root@K8s-master secrets]# 

#上传镜像
[root@K8s-master secrets]# docker tag nginx:latest reg.harbor.org/zhang/nginx:latest
[root@K8s-master secrets]# docker push reg.harbor.org/zhang/nginx:latest
The push refers to repository [reg.harbor.org/zhang/nginx]
5f0272c6e96d: Mounted from library/nginx 
f4f00eaedec7: Mounted from library/nginx 
55e54df86207: Mounted from library/nginx 
ec1a2ca4ac87: Mounted from library/nginx 
8b87c0c66524: Mounted from library/nginx 
72db5db515fd: Mounted from library/nginx 
9853575bc4f9: Mounted from library/nginx 
latest: digest: sha256:127262f8c4c716652d0e7863bba3b8c45bc9214a57d13786c854272102f7c945 size: 1778
#建立用于docker认证的secret
[root@K8s-master secrets]# kubectl create secret docker-registry docker-auth --docker-server reg.harbor.org --docker-username admin --docker-password redhat --docker-email harbor@harbor.org
secret/docker-auth created



apiVersion: v1
kind: Pod
metadata:
  labels:
    run: nginx
  name: nginx
spec:
  containers:
  - image: reg.harbor.org/zhang/nginx:latest
    name: nginx
  imagePullSecrets:
  - name: docker-auth

[root@K8s-master secrets]# kubectl get pods
NAME                        READY   STATUS      RESTARTS   AGE
nginx                       1/1     Running     0          8s

三 volumes配置管理

  • 容器中文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题
  • 当容器崩溃时，kubelet将重新启动容器，容器中的文件将会丢失,因为容器会以干净的状态重建。
  • 当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。
  • Kubernetes 卷具有明确的生命周期与使用它的 Pod 相同
  • 卷比 Pod 中运行的任何容器的存活期都长，在容器重新启动时数据也会得到保留
  • 当一个 Pod 不再存在时，卷也将不再存在。
  • Kubernetes 可以支持许多类型的卷，Pod 也能同时使用任意数量的卷。
  • 卷不能挂载到其他卷，也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。

3.1 kubernets支持的卷的类型

官网：卷 | Kubernetes

k8s支持的卷的类型如下：

  • awsElasticBlockStore 、azureDisk、azureFile、cephfs、cinder、configMap、csi
  • downwardAPI、emptyDir、fc (fibre channel)、flexVolume、flocker
  • gcePersistentDisk、gitRepo (deprecated)、glusterfs、hostPath、iscsi、local、
  • nfs、persistentVolumeClaim、projected、portworxVolume、quobyte、rbd
  • scaleIO、secret、storageos、vsphereVolume

3.2 emptyDir卷

功能：

当Pod指定到某个节点上时，首先创建的是一个emptyDir卷，并且只要 Pod 在该节点上运行，卷就一直存在。卷最初是空的。 尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同，但是这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时，emptyDir 卷中的数据也会永久删除

emptyDir 的使用场景：

  • 缓存空间，例如基于磁盘的归并排序。
  • 耗时较长的计算任务提供检查点，以便任务能方便地从崩溃前状态恢复执行。
  • 在 Web 服务器容器服务数据时，保存内容管理器容器获取的文件。

示例：

[root@K8s-master ~]# mkdir volumes
[root@K8s-master ~]# cd volumes/
[root@k8s-master volumes]# vim pod1.yml
apiVersion: v1
kind: Pod
metadata:
  name: vol1
spec:
  containers:
  - image: busyboxplus:latest
    name: vm1
    command:
    - /bin/sh
    - -c
    - sleep 30000000
    volumeMounts:
    - mountPath: /cache
      name: cache-vol
  - image: nginx:latest
    name: vm2
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: cache-vol
  volumes:
  - name: cache-vol
    emptyDir:
      medium: Memory
      sizeLimit: 100Mi

[root@K8s-master volumes]# kubectl apply -f pod1.yml 
pod/vol1 created

#查看pod中卷的使用情况
[root@k8s-master volumes]# kubectl describe pods vol1

#测试效果
[root@K8s-master volumes]# kubectl exec -it pods/vol1 -c vm1 -- /bin/sh
/ # cd cache/
/cache # ls
/cache # echo haha > index.html
/cache # curl localhost
haha
/cache # dd if=/dev/zero of=bigfile bs=1M count=99
99+0 records in
99+0 records out
/cache # dd if=/dev/zero of=bigfile bs=1M count=100
100+0 records in
99+1 records out
/cache # dd if=/dev/zero of=bigfile bs=1M count=101
dd: writing 'bigfile': No space left on device
101+0 records in
99+1 records out
/cache #

3.3 hostpath卷

功能：

hostPath 卷能将主机节点文件系统上的文件或目录挂载到您的 Pod 中，不会因为pod关闭而被删除

hostPath 的一些用法

  • 运行一个需要访问 Docker 引擎内部机制的容器,挂载 /var/lib/docker 路径。
  • 在容器中运行 cAdvisor（监控） 时，以 hostPath 方式挂载 /sys。
  • 允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在，是否应该创建以及应该以什么方式存在

hostPath的安全隐患

  • 具有相同配置（例如从 podTemplate 创建）的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为。
  • 当 Kubernetes 按照计划添加资源感知的调度时，这类调度机制将无法考虑由 hostPath 使用的资源。
  • 基础主机上创建的文件或目录只能由 root 用户写入。您需要在特权容器中以 root 身份运行进程，或者修改主机上的文件权限以便容器能够写入 hostPath 卷。

示例：

[root@k8s-master volumes]# vim pod2.yml
apiVersion: v1
kind: Pod
metadata:
  name: vol1
spec:
  containers:
  - image: nginx:latest
    name: vm1
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: cache-vol
  volumes:
  - name: cache-vol
    hostPath:
      path: /data
      type: DirectoryOrCreate				#当/data目录不存在时自动建立

#测试：
[root@k8s-master volumes]# kubectl apply -f pod2.yml
pod/vol1 created
[root@K8s-master volumes]# kubectl get  pods  -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP           NODE        NOMINATED NODE   READINESS GATES
vol1   1/1     Running   0          96s   10.244.2.7   k8s-node2   <none>           <none>


[root@k8s-master volumes]# curl 10.244.2.7
<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.27.1</center>
</body>
</html>

#去node2
[root@k8s-node2 ~]# echo haha > /data/index.html
[root@k8s-master volumes]# curl  10.244.2.48
haha


#当pod被删除后hostPath不会被清理
[root@k8s-master volumes]# kubectl delete -f pod2.yml
pod "vol1" deleted
[root@k8s-node2 ~]# ls /data/
index.html

3.4 nfs卷

NFS 卷允许将一个现有的 NFS 服务器上的目录挂载到 Kubernetes 中的 Pod 中。这对于在多个 Pod 之间共享数据或持久化存储数据非常有用

例如，如果有多个容器需要访问相同的数据集，或者需要将容器中的数据持久保存到外部存储，NFS 卷可以提供一种方便的解决方案。

3.4.1 部署一台nfs共享主机并在所有k8s节点中安装nfs-utils

#部署nfs主机，此次使用的是harbor
[root@harbor ~]# mkdir /nfsdata
[root@harbor ~]# dnf install nfs-utils -y

#其他几个都要安装
[root@K8s-master ~]# dnf install nfs-utils -y
[root@K8s-node1 ~]# dnf install nfs-utils -y
[root@K8s-node2 ~]# dnf install nfs-utils -y

#开始配置
[root@harbor ~]# systemctl enable --now nfs-server.service
Created symlink /etc/systemd/system/multi-user.target.wants/nfs-server.service → /usr/lib/systemd/system/nfs-server.service.

[root@harbor ~]# vim /etc/exports
/nfsdata   *(rw,sync,no_root_squash)

#启动
[root@harbor ~]# exportfs -rv
exporting *:/nfsdata

#所有的主机都要可以看见
[root@harbor ~]# showmount  -e 172.25.254.50
Export list for 172.25.254.50:
/nfsdata *


#部署nfs主机
[root@reg ~]# dnf install nfs-utils -y
[root@reg ~]# systemctl enable --now nfs-server.service

[root@reg ~]# vim /etc/exports
/nfsdata   *(rw,sync,no_root_squash)

[root@reg ~]# exportfs -rv
exporting *:/nfsdata

[root@reg ~]# showmount  -e
Export list for reg.timinglee.org:
/nfsdata *

#在k8s所有节点中安装nfs-utils
[root@k8s-master & node1 & node2  ~]# dnf install nfs-utils -y

3.4.2 部署nfs卷

[root@k8s-master volumes]# vim pod3.yml
apiVersion: v1
kind: Pod
metadata:
  name: vol1
spec:
  containers:
  - image: nginx:latest
    name: vm1
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: cache-vol
  volumes:
  - name: cache-vol
    nfs:
      server: 172.25.254.50
      path: /nfsdata


[root@K8s-master volumes]# kubectl apply -f pod3.yml 
pod/vol1 created

#测试
[root@k8s-master volumes]# kubectl get pods   -o wide
NAME   READY   STATUS    RESTARTS   AGE    IP            NODE        NOMINATED NODE   READINESS GATES
vol1   1/1     Running   0          100s   10.244.2.64   k8s-node2   <none>           <none>

[root@k8s-master volumes]# curl  10.244.2.64
<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.27.1</center>
</body>
</html>

##在nfs主机中
[root@harbor ~]# echo haha > /nfsdata/index.html

#再次测试
[root@K8s-master volumes]# curl 10.244.2.64
haha

3.5 PersistentVolume持久卷

3.5.1 静态持久卷pv与静态持久卷声明pvc

PersistentVolume（持久卷，简称PV）
  • pv是集群内由管理员提供的网络存储的一部分。(管理员提前建立好的)
  • PV也是集群中的一种资源。是一种volume插件，
  • 但是它的生命周期却是和使用它的Pod相互独立的。
  • PV这个API对象，捕获了诸如NFS、ISCSI、或其他云存储系统的实现细节
  • pv有两种提供方式：静态和动态
    • 静态PV：集群管理员创建多个PV，它们携带着真实存储的详细信息，它们存在于Kubernetes API中，并可用于存储使用（建立好的是什么样子就使用什么样子）
    • 动态PV：当管理员创建的静态PV都不匹配用户的PVC时，集群可能会尝试专门地供给volume给PVC。这种供给基于StorageClass（需要什么样子会自己去创建，不需要时会自动回收）
PersistentVolumeClaim（持久卷声明，简称PVC）
  • 是用户的一种存储请求
  • 它和Pod类似，Pod消耗Node资源，而PVC消耗PV资源（pvc要和pv进行绑定）
  • Pod能够请求特定的资源（如CPU和内存)。PVC能够请求指定的大小和访问的模式持久卷配置
  • PVC与PV的绑定是一对一的映射。没找到匹配的PV，那么PVC会无限期得处于unbound未绑定状态
volumes访问模式
  • ReadWriteOnce -- 该volume只能被单个节点以读写的方式映射
  • ReadOnlyMany -- 该volume可以被多个节点以只读方式映射
  • ReadWriteMany -- 该volume可以被多个节点以读写的方式映射

  • 在命令行中，访问模式可以简写为：
  • RWO - ReadWriteOnce
  • ROX - ReadOnlyMany
  • RWX – ReadWriteMany
volumes回收策略
  • Retain：保留，需要手动回收
  • Recycle：回收，自动删除卷中数据（在当前版本中已经废弃）
  • Delete：删除，相关联的存储资产，如AWS EBS，GCE PD，Azure Disk，or OpenStack Cinder卷都会被删除（直接删除pv）

注意：

只有NFS和HostPath支持回收利用

AWS EBS，GCE PD，Azure Disk，or OpenStack Cinder卷支持删除操作。

volumes状态说明
  • Available 卷是一个空闲资源，尚未绑定到任何申领
  • Bound 该卷已经绑定到某申领
  • Released 所绑定的申领已被删除，但是关联存储资源尚未被集群回收
  • Failed 卷的自动回收操作失败
静态pv实例：
#在nfs主机中建立实验目录
[root@harbor harbor]# mkdir  /nfsdata/pv{1..3} -p
[root@harbor harbor]# cd /nfsdata/
[root@harbor nfsdata]# ls
index.html  pv1  pv2  pv3


[root@K8s-master ~]# mkdir pvc
[root@K8s-master ~]# cd pvc


#编写创建pv的yml文件，pv是集群资源，不在任何namespace中
[root@k8s-master pvc]# vim pv.yml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv1
spec:
  capacity:
    storage: 5Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfsdata/pv1
    server: 172.25.254.50

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv2
spec:
  capacity:
    storage: 15Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfsdata/pv2
    server: 172.25.254.50
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv3
spec:
  capacity:
    storage: 25Gi
  volumeMode: Filesystem
  accessModes:
    - ReadOnlyMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfsdata/pv3
    server: 172.25.254.50

[root@K8s-master pvc]# kubectl apply -f pv.yml 
persistentvolume/pv1 created
persistentvolume/pv2 created
persistentvolume/pv3 created

[root@K8s-master pvc]# kubectl get  pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
pv1    5Gi        RWO            Retain           Available           nfs            <unset>                          3m37s
pv2    15Gi       RWX            Retain           Available           nfs            <unset>                          3m37s
pv3    25Gi       ROX            Retain           Available           nfs            <unset>                          71s

建立pvc

#建立pvc，pvc是pv使用的申请，需要保证和pod在一个namesapce中
[root@K8s-master pvc]# vim pvc.yml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc1
spec:
  storageClassName: nfs
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc2
spec:
  storageClassName: nfs
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc3
spec:
  storageClassName: nfs
  accessModes:
    - ReadOnlyMany
  resources:
    requests:
      storage: 15Gi

[root@K8s-master pvc]# kubectl apply -f pvc.yml 
persistentvolumeclaim/pvc1 created
persistentvolumeclaim/pvc2 created
persistentvolumeclaim/pvc3 created

[root@K8s-master pvc]# kubectl get pvc
NAME   STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
pvc1   Bound    pv1      5Gi        RWO            nfs            <unset>                 44s
pvc2   Bound    pv2      15Gi       RWX            nfs            <unset>                 44s
pvc3   Bound    pv3      25Gi       ROX            nfs            <unset>                 44s

#在其他namespace中无法应用
[root@K8s-master pvc]# kubectl -n kube-system  get pvc
No resources found in kube-system namespace.

在pod中使用pvc
[root@k8s-master pvc]# vim pod.yml
apiVersion: v1
kind: Pod
metadata:
  name: vol1
spec:
  containers:
  - image: nginx
    name: nginx
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: vol1
  volumes:
  - name: vol1
    persistentVolumeClaim:
      claimName: pvc1

[root@K8s-master pvc]# kubectl apply -f pod.yml 
pod/vol1 created

[root@K8s-master pvc]# kubectl get pods  -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP           NODE        NOMINATED NODE   READINESS GATES
vol1   1/1     Running   0          10s   10.244.1.6   k8s-node1   <none>           <none>

#harbor主机上添加一个index.html
#[root@harbor pv1]# echo haha > index.html
#[root@harbor pv1]# ls
#index.html


[root@K8s-master pvc]# kubectl exec -it pods/vol1 -- /bin/bash
root@vol1:/# curl  localhost
haha

四 存储类storageclass

官网： GitHub - kubernetes-sigs/nfs-subdir-external-provisioner: Dynamic sub-dir volume provisioner on a remote NFS server.

4.1 StorageClass说明

  • StorageClass提供了一种描述存储类（class)的方法，不同的class可能会映射到不同的服务质量等级和备份策略或其他策略等。
  • 每个 StorageClass 都包含 provisioner、parameters 和 reclaimPolicy 字段， 这些字段会在StorageClass需要动态分配 PersistentVolume 时会使用到

4.2 StorageClass的属性

属性说明：存储类 | Kubernetes

Provisioner（存储分配器)：用来决定使用哪个卷插件分配 PV，该字段必须指定。可以指定内部分配器，也可以指定外部分配器。外部分配器的代码地址为： kubernetes-incubator/external-storage，其中包括NFS和Ceph等。

Reclaim Policy（回收策略）：通过reclaimPolicy字段指定创建的Persistent Volume的回收策略，回收策略包括：Delete 或者 Retain，没有指定默认为Delete。

4.3 存储分配器NFS Client Provisioner

源码地址：GitHub - kubernetes-sigs/nfs-subdir-external-provisioner: Dynamic sub-dir volume provisioner on a remote NFS server.

  • NFS Client Provisioner是一个automatic provisioner，使用NFS作为存储，自动创建PV和对应的PVC，本身不提供NFS存储，需要外部先有一套NFS存储服务。
  • PV以 ${namespace}-${pvcName}-${pvName}的命名格式提供（在NFS服务器上)
  • PV回收的时候以 archieved-${namespace}-${pvcName}-${pvName} 的命名格式（在NFS服务器上)

4.4 部署NFS Client Provisioner

4.4.1 创建sa并授权
[root@K8s-master pvc]# mkdir storageclass
[root@K8s-master pvc]# cd storageclass/
[root@K8s-master storageclass]# vim rbac.yml
apiVersion: v1
kind: Namespace
metadata:
  name: nfs-client-provisioner
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
  namespace: nfs-client-provisioner
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: nfs-client-provisioner
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: nfs-client-provisioner
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: nfs-client-provisioner
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io

#查看rbac信息
[root@K8s-master storageclass]# kubectl apply -f rbac.yml 
namespace/nfs-client-provisioner created
serviceaccount/nfs-client-provisioner created
clusterrole.rbac.authorization.k8s.io/nfs-client-provisioner-runner created
clusterrolebinding.rbac.authorization.k8s.io/run-nfs-client-provisioner created
role.rbac.authorization.k8s.io/leader-locking-nfs-client-provisioner created
rolebinding.rbac.authorization.k8s.io/leader-locking-nfs-client-provisioner created

[root@K8s-master storageclass]# kubectl -n nfs-client-provisioner get sa
NAME                     SECRETS   AGE
default                  0         35s
nfs-client-provisioner   0         35s

4.4.2 部署应用

建立仓库

[root@K8s-master ~]# docker load  -i nfs-subdir-external-provisioner-4.0.2.tar 
1a5ede0c966b: Loading layer  3.052MB/3.052MB
ad321585b8f5: Loading layer  42.02MB/42.02MB
Loaded image: registry.k8s.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2

[root@K8s-master ~]# docker tag registry.k8s.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2 reg.harbor.org/sig-storage/nfs-subdir-external-provisioner:v4.0.2
[root@K8s-master ~]# docker push reg.harbor.org/sig-storage/nfs-subdir-external-provisioner:v4.0.2



[root@k8s-master storageclass]# vim deployment.yml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
  namespace: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: sig-storage/nfs-subdir-external-provisioner:v4.0.2
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: k8s-sigs.io/nfs-subdir-external-provisioner
            - name: NFS_SERVER
              value: 172.25.254.50
            - name: NFS_PATH
              value: /nfsdata
      volumes:
        - name: nfs-client-root
          nfs:
            server: 172.25.254.50
            path: /nfsdata
[root@K8s-master storageclass]# kubectl apply -f deployment.yml 
deployment.apps/nfs-client-provisioner created


[root@K8s-master storageclass]#  kubectl -n nfs-client-provisioner get deployments.apps nfs-client-provisioner
NAME                     READY   UP-TO-DATE   AVAILABLE   AGE
nfs-client-provisioner   1/1     1            1           19s

4.4.3 创建存储类
[root@k8s-master storageclass]# vim class.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
parameters:
  archiveOnDelete: "false"
 
[root@k8s-master storageclass]# kubectl apply -f class.yaml
storageclass.storage.k8s.io/nfs-client created
[root@K8s-master storageclass]# kubectl get storageclasses.storage.k8s.io
NAME         PROVISIONER                                   RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
nfs-client   k8s-sigs.io/nfs-subdir-external-provisioner   Delete          Immediate           false                  5s

4.4.4 创建pvc
[root@k8s-master storageclass]# vim pvc.yml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: test-claim
spec:
  storageClassName: nfs-client
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1G
[root@k8s-master storageclass]# kubectl apply -f pvc.yml
persistentvolumeclaim/test-claim created

[root@K8s-master storageclass]# kubectl get pvc
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
pvc1         Bound    pv1                                        5Gi        RWO            nfs            <unset>                 49m
pvc2         Bound    pv2                                        15Gi       RWX            nfs            <unset>                 49m
pvc3         Bound    pv3                                        25Gi       ROX            nfs            <unset>                 49m
test-claim   Bound    pvc-8e6bd918-afd1-4e5b-83d6-f020e431df9c   1G         RWX            nfs-client     <unset>                 12s


#查看
[root@harbor nfsdata]# ls
default-test-claim-pvc-8e6bd918-afd1-4e5b-83d6-f020e431df9c  index.html  pv1  pv2  pv3

4.4.5 创建测试pod
[root@k8s-master storageclass]# vim pod.yml
kind: Pod
apiVersion: v1
metadata:
  name: test-pod
spec:
  containers:
  - name: test-pod
    image: busybox
    command:
      - "/bin/sh"
    args:
      - "-c"
      - "touch /mnt/SUCCESS && exit 0 || exit 1"
    volumeMounts:
      - name: nfs-pvc
        mountPath: "/mnt"
  restartPolicy: "Never"
  volumes:
    - name: nfs-pvc
      persistentVolumeClaim:
        claimName: test-claim

[root@k8s-master storageclass]# kubectl apply -f pod.yml

[root@harbor nfsdata]# ls
default-test-claim-pvc-8e6bd918-afd1-4e5b-83d6-f020e431df9c  pv1  pv3
index.html                                                   pv2
[root@harbor nfsdata]# ls default-test-claim-pvc-8e6bd918-afd1-4e5b-83d6-f020e431df9c/
SUCCESS

4.4.6 设置默认存储类
  • 在未设定默认存储类时pvc必须指定使用类的名称
  • 在设定存储类后创建pvc时可以不用指定storageClassName
#一次性指定多个pvc
[root@k8s-master pvc]# vim pvc.yml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc1
spec:
  storageClassName: nfs-client
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc2
spec:
  storageClassName: nfs-client
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc3
spec:
  storageClassName: nfs-client
  accessModes:
    - ReadOnlyMany
  resources:
    requests:
      storage: 15Gi

[root@K8s-master storageclass]# kubectl apply -f pvc.yml 
persistentvolumeclaim/pvc1 created
persistentvolumeclaim/pvc2 created
persistentvolumeclaim/pvc3 created

[root@K8s-master storageclass]# kubectl get pvc
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
pvc1         Bound    pvc-704ec24b-d68e-42bf-b20d-f6af52e23b89   1Gi        RWO            nfs-client     <unset>                 13s
pvc2         Bound    pvc-b6808917-b396-4d8b-a57a-f524b23e8f80   10Gi       RWX            nfs-client     <unset>                 13s
pvc3         Bound    pvc-21a9bab5-5f3e-432b-a8f7-35c0b6e9c58d   15Gi       ROX            nfs-client     <unset>                 13s
test-claim   Bound    pvc-8e6bd918-afd1-4e5b-83d6-f020e431df9c   1G         RWX            nfs-client     <unset>                 14m

设定默认存储类

[root@K8s-master storageclass]# kubectl get storageclasses.storage.k8s.io
NAME         PROVISIONER                                   RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
nfs-client   k8s-sigs.io/nfs-subdir-external-provisioner   Delete          Immediate           false                  18m

[root@k8s-master storageclass]# kubectl edit sc nfs-client
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  annotations:
    kubectl.kubernetes.io/last-applied-configuration: |
      {"apiVersion":"storage.k8s.io/v1","kind":"StorageClass","metadata":{"annotations":{},"name":"nfs-client"},"parameters":{"archiveOnDelete":"false"},"provisioner":"k8s-sigs.io/nfs-subdir-external-provisioner"}
    storageclass.kubernetes.io/is-default-class: "true"		#设定默认存储类
  creationTimestamp: "2024-09-07T13:49:10Z"
  name: nfs-client
  resourceVersion: "218198"
  uid: 9eb1e144-3051-4f16-bdec-30c472358028
parameters:
  archiveOnDelete: "false"
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
reclaimPolicy: Delete
volumeBindingMode: Immediate

#测试，未指定storageClassName参数
[root@k8s-master storageclass]# vim pvc.yml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: test-claim
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi

[root@k8s-master storageclass]# kubectl apply -f pvc.yml
persistentvolumeclaim/test-claim created
[root@K8s-master storageclass]# kubectl get pvc
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
test-claim   Bound    pvc-1692dc3d-07ab-4662-a95c-477932f85250   1Gi        RWX            nfs-client     <unset>                 5s

五 statefulset控制器

5.1 功能特性

  • Statefulset是为了管理有状态服务的问提设计的
  • StatefulSet将应用状态抽象成了两种情况：
  • 拓扑状态：应用实例必须按照某种顺序启动。新创建的Pod必须和原来Pod的网络标识一样
  • 存储状态：应用的多个实例分别绑定了不同存储数据。
  • StatefulSet给所有的Pod进行了编号，编号规则是：$(statefulset名称)-$(序号)，从0开始。
  • Pod被删除后重建，重建Pod的网络标识也不会改变,Pod的拓扑状态按照Pod的“名字+编号”的方式固定下来,并且为每个Pod提供了一个固定且唯一的访问入口,Pod对应的DNS记录。

5.2 StatefulSet的组成部分

  • Headless Service：用来定义pod网络标识，生成可解析的DNS记录
  • volumeClaimTemplates：创建pvc，指定pvc名称大小，自动创建pvc且pvc由存储类供应。
  • StatefulSet：管理pod的

5.3 构建方法

#建立无头服务
[root@k8s-master statefulset]# vim headless.yml
apiVersion: v1
kind: Service
metadata:
 name: nginx-svc
 labels:
  app: nginx
spec:
 ports:
 - port: 80
   name: web
 clusterIP: None
 selector:
  app: nginx
[root@k8s-master statefulset]# kubectl apply -f headless.yml

[root@K8s-master storageclass]# kubectl get svc
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   24h
nginx-svc    ClusterIP   None         <none>        80/TCP    61s


#建立statefulset
[root@k8s-master statefulset]# vim statefulset.yml
apiVersion: apps/v1
kind: StatefulSet
metadata:
 name: web
spec:
 serviceName: "nginx-svc"
 replicas: 3
 selector:
  matchLabels:
   app: nginx
 template:
  metadata:
   labels:
    app: nginx
  spec:
   containers:
   - name: nginx
     image: nginx
     volumeMounts:
       - name: www
         mountPath: /usr/share/nginx/html
 volumeClaimTemplates:
  - metadata:
     name: www
    spec:
     storageClassName: nfs-client
     accessModes:
     - ReadWriteOnce
     resources:
      requests:
       storage: 1Gi
[root@k8s-master statefulset]# kubectl apply -f statefulset.yml
statefulset.apps/web configured
[root@K8s-master storageclass]# kubectl get pods
NAME    READY   STATUS    RESTARTS   AGE
web-0   1/1     Running   0          9s
web-1   1/1     Running   0          6s
web-2   1/1     Running   0          3s



[root@harbor nfsdata]# ls /nfsdata/
default-www-web-0-pvc-d1aa26fe-81bf-4ac2-81bc-bde2d4088791  index.html  pv3
default-www-web-1-pvc-cf4a6ecc-59c5-4735-9269-cec8071ed24d  pv1
default-www-web-2-pvc-f9756bca-6779-4254-a1ab-0b485aaba858  pv2

5.4 测试：

#为每个pod建立index.html文件

[root@harbor nfsdata]# echo web1 > default-www-web-0-pvc-d1aa26fe-81bf-4ac2-81bc-bde2d4088791/index.html
[root@harbor nfsdata]# echo web2 > default-www-web-1-pvc-cf4a6ecc-59c5-4735-9269-cec8071ed24d/index.html
[root@harbor nfsdata]# echo web3 > default-www-web-2-pvc-f9756bca-6779-4254-a1ab-0b485aaba858/index.html

#建立测试pod访问web-0~2
[root@K8s-master storageclass]#  kubectl run -it testpod --image busyboxplusIf you don't see a command prompt, try pressing enter.
/ # curl web-0.nginx-svc
web1
/ # curl web-1.nginx-svc
web2
/ # curl web-2.nginx-svc
web3


#删掉重新建立statefulset
[root@k8s-master statefulset]# kubectl delete -f statefulset.yml
statefulset.apps "web" deleted
[root@k8s-master statefulset]# kubectl apply  -f statefulset.yml
statefulset.apps/web created

#访问依然不变
[root@K8s-master storageclass]# kubectl attach testpod -c testpod -i -t
If you don't see a command prompt, try pressing enter.
/ # curl  web-0.nginx-svc
web1
/ # curl  web-1.nginx-svc
web2
/ # curl  web-2.nginx-svc
web3

5.5 statefulset的弹缩

首先,想要弹缩的StatefulSet. 需先清楚是否能弹缩该应用

用命令改变副本数

$ kubectl scale statefulsets <stateful-set-name> --replicas=<new-replicas>

通过编辑配置改变副本数

$ kubectl edit statefulsets.apps <stateful-set-name>

statefulset有序回收

[root@K8s-master storageclass]# kubectl scale statefulset web --replicas 0
statefulset.apps/web scaled
[root@K8s-master storageclass]# kubectl delete -f statefulset.yml
statefulset.apps "web" deleted
[root@K8s-master storageclass]# kubectl delete pvc --all
persistentvolumeclaim "www-web-0" deleted
persistentvolumeclaim "www-web-1" deleted
persistentvolumeclaim "www-web-2" deleted

[root@harbor nfsdata]# ls
index.html  pv1  pv2  pv3

发现目录被回收了

[禾火]
关注
  • 16
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用二进制安装包部署kubernetes（详细精讲版）
一叶的博客
08-13 4255
使用二进制安装包部署kubernetes（参考版） 本次安装主要是用来学习kubernetes安装的相关过程及组件的配置，若用于企业实践可根据具体需要在节点添加相应的组件 上一篇文章详细讲解了如何在物理机上安装centos操作系统（小白可直接按照文章内容直接完成安装，需要改的参数会具体指出） 如果是新安装的操作系统，可以安装下列组件，方便操作（其它可跳过第一阶段，直接看准备工作） 1，安装工具（已安装可跳过） 安装wge yum -y install wget yum换源（换源后yum安装速
Kubernetes精讲之环境搭建
m2282475145的博客
09-05 802
在部署应用程序的方式上，主要经历了三个阶段:传统部署:互联网早期，会直接将应用程序部署在物理机上优点:简单，不需要其它技术的参与缺点:不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响虚拟化部署:可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境优点:程序环境不会相互产生影响，提供了一定程度的安全性缺点:增加了操作系统，浪费了部分资源容器化部署:与虚拟化类似，但是共享了操作系统Note一个容器故障停机了，怎么样让另外一个容器立刻启动去替补停机的容器。
Kubernetes精讲之网络通信与调度
m2282475145的博客
09-12 820
纯三层的转发，中间没有任何的NAT和overlay，转发效率最好。Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有 VM、Container、白盒或者混合环境场景。
Kubernetes精讲之pod管理及优化
m2282475145的博客
09-11 787
在kubernetes中，所有的内容都抽象为资源，用户需要通过操作资源来管理kubernetes。kubernetes的本质上就是一个集群系统，用户可以在集群中部署各种服务所谓的部署服务，其实就是在kubernetes集群中运行一个个的容器，并将指定的程序跑在容器中。kubernetes的最小管理单元是pod而不是容器，只能将容器放在 Pod中kubernetes一般也不会直接管理Pod，而是通过Pod控制器来管理Pod的。Pod中服务服务的访问是由kubernetes提供的 service 资源来实现。
Kubernetes精讲之控制器的使用
m2282475145的博客
09-12 546
工作负载管理 | Kubernetes控制器也是管理pod的一种手段自主式pod：pod退出或意外关闭后不会被重新创建控制器管理的 Pod：在控制器的生命周期里，始终要维持 Pod 的副本数目Pod控制器是管理pod的中间层，使用Pod控制器之后，只需要告诉Pod控制器，想要多少个什么样的Pod就可以了，它会创建出满足条件的Pod并确保每一个Pod资源处于用户期望的目标状态。如果Pod资源在运行中出现故障，它会基于指定策略重新编排Pod。
完结20章Kubernetes系统精讲 Go语言实战K8S集群可视化
07-21
在本课程中，“完结20章Kubernetes系统精讲 Go语言实战K8S集群可视化”主要涵盖了 Kubernetes（K8s）的基础知识、核心概念、Go 语言编程实践以及如何利用 Go 语言进行 K8s 集群的可视化操作。通过这20章节的学习，...
ShardingSphere 核心原理精讲文章
11-18
**分布式数据库分片技术——ShardingSphere核心原理精讲** ShardingSphere，作为一个开源的分布式数据库解决方案，由Apache Software Foundation管理，旨在解决大数据量场景下的数据存储和访问问题。它提供了一种轻...
系统架构设计师精讲班视频教程-视频课程资源网盘链接提取码下载 .txt
02-29
### 系统架构设计师精讲班视频教程知识点总结 #### 一、课程概述与目标 - **课程背景**：随着互联网技术的飞速发展，系统架构设计已成为IT领域中的核心竞争力之一。为了满足市场对高级系统架构师的需求，本课程...
17. Linux-RHCE精讲教程之DNS服务：DNS监控与日志
# 1. DNS服务概述 ## 1.1 DNS服务简介 DNS（Domain Name System）是互联网中用于将域名解析为IP地址的分布式数据库系统。...递归DNS服务器负责向客户端提供域名解析服务，权威DNS服务器负责存储域名对应
k8s 容忍和污点
最新发布
batman
09-12 437
该值定义尽量避免将Pod调度到存在其不能容忍的Taint的节点上，但并不是强制的，也就是说，一个没有配置Toleration的Pod会优先部署至其他节点，没有其他可以调度的节点时，还是可以部署到effect为PreferNoSchedule的节点上的，NoSchedule没有这种机制。如果未被过滤的Taint中不存在effect值为NoExecute的Taint，但是存在effect值为PreferNoSchedule的Taint，则Kubernetes会尝试将Pod分配到该节点。
k8s API资源对象
巧克力人生的博客
09-06 711
如果想直接通过k8s节点的IP直接访问到service对应的资源，可以使用NodePort，Nodeport对应的端口范围:30000-32767。这种方式，需要配合公有云资源比如阿里云、亚马逊云来实现，这里需要一个公网IP作为入口，然后来负载均衡所有的Pod。该方式为默认类型，即，不定义type字段时（如上面service的示例），就是该类型。说明：Taint叫做污点，如果某一个节点上有污点，则不会被调度运行pod。使用yaml文件来配置、部署资源对象。作用：对外提供访问端口。
StreamPark集成k8s运行Flink
weixin_45249411的博客
09-08 490
1.然后在有docekr的机器上登录。2.设置下命名空间(左侧)
【Kubernetes】K8s 的鉴权管理（二）：基于属性 / 节点 / Webhook 的访问控制
书山有路，学海无涯。记录成长，追逐梦想
09-10 1222
基于属性的访问控制（Attribute-Based Access Control，ABAC）通过将属性组合在一起来定义用户可以访问的范围。其策略文件是一个具有多行 JSON 格式的文件，该文件中的每一行都是一个策略（即一个 JSON 对象）。
培训第九周（部署k8s基础环境）
weixin_70693880的博客
09-07 1475
添加sandbox_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9"（第128行）之前采⽤初始化安装⽅式，所有的系统组件均以容器的⽅式运⾏ 并且在 kube-system 命名空间内，此时可以查看 Pod（容器 组）状态。overlay # ⽤于⽀持Overlay⽹络⽂件系统的模块，它可以在现有的⽂件系统之上创建叠加层，以实现虚拟化、隔离和管理等功能。设置为0表示不产⽣panic，设置为1表示产⽣panic。
k8s HPA
巧克力人生的博客
09-07 622
HPA可以基于CPU利用率对replication controller、deployment和replicaset中的pod数量进行自动扩缩容（除了CPU利用率，也可以基于其他应用程序提供的度量指标custom metrics进行自动扩缩容）。将image: k8s.gcr.io/metrics-server/metrics-server:v0.6.2 修改为 image: aminglinux/metrics-server:v0.6.2。pod自动缩放不适用于无法缩放的对象，比如daemonsets。
93、k8s之hpa+helm
m0_74149099的博客
09-12 567
pod的数量进行扩缩容针对对控制器创建的podreplicas:静态：editHPA：基于cpu的利用率来实现pod的数量大的自动伸缩。yaml 文件------主流------>必须要有资源控制的字段才能生效。命令行 生成HPA的配置。yaml必要条件：前置必要条件：控制器创建，而且必须能设置副本数配置的必要条件：必须要声明pod的资源控制1、metrices-server hpa使用的依赖环境。k8s使用集群资源的集中查询器。收集资源使用数据，给hpa，scheduller使用。
14.2 k8s中我们都需要监控哪些组件
福大大架构师每日一题
09-08 881
指标类型采集源应用举例发现类型grafana截图容器基础资源指标kubelet 内置cadvisor metrics接口查看容器cpu、mem利用率等k8s_sd node级别直接访问node_ip容器基础资源k8s对象资源指标(简称ksm)具体可以看看pod状态如pod waiting状态的原因数个数如：查看node pod按namespace分布情况通过coredns访问域名k8s对象资源指标k8s服务组件指标服务组件 metrics接口。
kubeadm 初始化 k8s 证书过期解决方案
Richardlygo的博客
09-08 417
在使用 kubeadm 初始化的 Kubernetes 集群中，默认情况下证书的有效期为一年。当证书过期时，集群中的某些组件可能会停止工作，导致集群不可用。本文将详细介绍如何解决 kubeadm 初始化的 Kubernetes 集群证书过期的问题，并提供一种实用的方法来延长证书的有效期。
ls
06-02
`ls`命令是Linux系统下的一个常用命令，用于列出指定目录中的文件和子目录。 `ls`命令的常用参数包括： - `-a`：显示所有文件，包括隐藏文件。 - `-l`：以列表方式显示文件的详细信息，包括文件的权限、所有者、大小、修改时间等。 - `-h`：配合`-l`参数使用，以人类可读的方式显示文件的大小。 - `-t`：按照文件修改时间排序。 - `-r`：按照相反的顺序排序。 - `-R`：递归地列出所有子目录中的文件。 - `-i`：显示文件的inode号。 - `-d`：仅显示目录本身，而不显示目录中的文件。 例如，要列出当前目录中的所有文件和子目录，可以使用以下命令： ``` ls ``` 要列出当前目录中的所有文件，包括隐藏文件，可以使用以下命令： ``` ls -a ``` 要以列表方式显示当前目录中的文件的详细信息，可以使用以下命令： ``` ls -l ``` 要列出当前目录中的文件，按照修改时间排序，可以使用以下命令： ``` ls -t ``` 要列出当前目录中的所有子目录和文件，可以使用以下命令： ``` ls -R ``` 还有很多其他的`ls`命令参数，可以使用`man ls`命令查看`ls`命令的帮助文档来了解更多信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值