Kubernetes-3

最新推荐文章于 2023-08-29 21:29:02 发布

BestQishen

最新推荐文章于 2023-08-29 21:29:02 发布

阅读量269

点赞数

分类专栏： K8S 文章标签： java kubernetes docker

本文链接：https://blog.csdn.net/FBI048/article/details/130994873

版权

K8S 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

持久存储卷

K8S提供了三种基于存储的抽象对象，分别是PersistentVloume（PV），StorageClass，PersistentVloumeClaim（PVC），通过这三种类型来支持基础设施和应用之间的分离。

PV：持久存储卷，定义了K8S集群中的可用的存储资源，其中包含了存储资源的实现细节，比如包含NFS等资源的具体设置。

PVC：表示持久存储卷的申请，是通过用户发起对存储资源的请求。申请中只包含请求资源的大小和读写访问模式，不需要关心具体的资源实现细节，K8S会自动为其绑定符合条件的PV。

1.创建PV

[root@master ~]# vi testnfspv.yaml

apiVersion: v1              #创建的资源对象的版本

kind: PersistentVolume      #所要创建的资源对象，在这里是创建的PV

metadata:

name: testnfspv

spec:                      #具体设置

capacity:                #PV的容量

    storage: 1Gi           #指定占用的具体存储资源(NFS)的大小

accessModes:             #定义PV对具体存储资源的访问模式。它下设的属性一共包含三种类型访问模式，分别为

ReadWriteOnce:这个卷可以被单个节点以读写模式挂载；ReadWriteMany：这个卷可以被多个节点以读写模式挂载；ReadOnlyMany：这个卷可以被多个节点以只读的模式挂载

    - ReadWriteMany

persistentVolumeReclaimPolicy: Recycle    #删除PVC时对于PV资源的回收策略，它下设了三种类型的策略，分别

为：Retain(保留);Recycle(自动回收);Delete(自动删除)

storageClassName: testnfs   #PV资源的描述性分类,在后续创建PVC时可以引用这个名称来绑定PV

nfs:                        #表示PV使用NFS服务器作为具体的存储资源

    path: /data/k8snfs/

    server: 192.168.200.11

[root@master ~]# kubectl apply -f testnfspv.yaml

persistentvolume/testnfspv created

[root@master ~]# kubectl get pv

NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE

testnfspv 1Gi RWX Recycle Available（资源空闲） testnfs 36s

[root@master ~]# kubectl describe pv testnfspv

Name: testnfspv

Labels: <none>

Annotations: <none>

Finalizers: [kubernetes.io/pv-protection]

StorageClass: testnfs

Status: Available

Claim:

Reclaim Policy: Recycle

Access Modes: RWX

VolumeMode: Filesystem

Capacity: 1Gi

Node Affinity: <none>

Message:

Source:

 Type: NFS (an NFS mount that lasts the lifetime of a pod)

 Server: 192.168.200.11

 Path: /data/k8snfs/

 ReadOnly: false

Events: <none>

2.创建PVC

[root@master ~]# vi testnfspvc.yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

name: testnfspvc

spec:

accessModes:

    - ReadWriteMany

storageClassName: "testnfs"      #表示要引用的PV的资源名称

resources:                      #定义PVC资源的参数

    requests:                     #设置具体的资源需求

      storage: 500Mi              #表示申请500MiB的资源

[root@master ~]# kubectl apply -f testnfspvc.yaml

persistentvolumeclaim/testnfspvc created

[root@master ~]# kubectl get pvc

NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE

testnfspvc Bound testnfspv 1Gi RWX testnfs 26s

//Bound代表已经绑定到了符合条件的PV上

[root@master ~]# kubectl get pv

NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE

testnfspv 1Gi RWX Recycle Bound default/testnfspvc testnfs 12m

[root@master ~]# kubectl describe pvc testnfspvc

Name: testnfspvc

Namespace: default

StorageClass: testnfs

Status: Bound

Volume: testnfspv

Labels: <none>

Annotations: pv.kubernetes.io/bind-completed: yes

 pv.kubernetes.io/bound-by-controller: yes

Finalizers: [kubernetes.io/pvc-protection]

Capacity: 1Gi

Access Modes: RWX

VolumeMode: Filesystem

Used By: <none>

Events: <none>

3.定义Pod并使用PVC引用的资源

[root@master ~]# cat testnfspvcdeployment.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

name: testnfspvcdeployment

spec:

replicas: 2

selector:

    matchLabels:

      example: testnfspvc

template:

    metadata:

      labels:

        example: testnfspvc

    spec:

      containers:

      - name: testnfspvc

        image: busybox

        imagePullPolicy: IfNotPresent

        command: ['sh','-c']

        args: ['echo "The host is $(hostname)" >> /dir/dataforpvc; sleep 3600']

        volumeMounts:

        - name: pvcdata

          mountPath: /dir

      volumes:

      - name: pvcdata

        persistentVolumeClaim:

          claimName: testnfspvc

[root@master ~]# kubectl apply -f testnfspvcdeployment.yaml

deployment.apps/testnfspvcdeployment created

//本案例中所创建存储卷名称为pvcdata，这个名称会被容器中设置的volumeMounts所引用。存储卷的类型时PVC，claimName属性表示引用的PVC名称，这里为 testnfspvc

[root@master ~]# kubectl get deployment

NAME READY UP-TO-DATE AVAILABLE AGE

testnfspvcdeployment 2/2 2 2 21s

[root@master ~]# kubectl get pod -o wide |grep testnfspvcdeployment

testnfspvcdeployment-58756f77c5-gpg72 1/1 Running 0 74s 10.244.0.187 master <none> <none>

testnfspvcdeployment-58756f77c5-r5vsw 1/1 Running 0 74s 10.244.0.186 master <none> <none>

//在上面的案例中，我们观察到pod已经被分布在了master节点上，pvc所绑定的pv引用中nfs服务器的共享目录为 /data/k8snfs/，这时我们可以执行以下命令查看共享目录。

[root@master k8snfs]# cat dataforpvc

The host is testnfspvcdeployment-58756f77c5-r5vsw

The host is testnfspvcdeployment-58756f77c5-gpg72

//从以上内容可知，目前在nfs服务器端已经同步了pod主机名信息，我们可以通过pod中的命令行执行情况来做一个对比，随机抽取一个pod进入后查看。

[root@master ~]# kubectl exec -it testnfspvcdeployment-58756f77c5-gpg72 -- /bin/sh

/ # cat /dir/data

data dataforpvc

/ # cat /dir/dataforpvc

The host is testnfspvcdeployment-58756f77c5-r5vsw

The host is testnfspvcdeployment-58756f77c5-gpg72

//从上面内容可见两条输出信息之技安时相同的，证明我们的pvc创建无误

PV的解绑与回收

在创建pvc时我们已经将资源绑定在了唯一的pv上，如果此时我们在创建一个pvc这时候会发生什么问题？

[root@master ~]# vi testnfspvc2.yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

name: testnfspvc2

spec:

accessModes:

    - ReadWriteMany

storageClassName: "testnfs"      #表示要引用的PV的资源名称

resources:                      #定义PVC资源的参数

    requests:                     #设置具体的资源需求

      storage: 500Mi              #表示申请500MiB的资源

[root@master ~]# kubectl apply -f testnfspvc2.yaml

persistentvolumeclaim/testnfspvc2 created

[root@master ~]# kubectl get pvc

NAME          STATUS    VOLUME      CAPACITY   ACCESS MODES   STORAGECLASS   AGE

testnfspvc    Bound     testnfspv   1Gi        RWX            testnfs        3d21h

testnfspvc2   Pending                                         testnfs        16s

//由上述结果可知，新创建的pvc2状态已经时pending，这表示了我们新创建的pvc一致处于挂起的状态，虽然我们之前定义的pv大小为1GiB，后面定义的两个pvc都之申请了500MiB的资源，但是对于PV和PVC来说只能一对一的绑定，不能一对多，所以新的pvc无法找到合适的资源，如果向使用只能在重新创建一个pv或者将之前的pvc解绑。

[root@master ~]# kubectl delete -f testnfspvcdeployment.yaml

deployment.apps "testnfspvcdeployment" deleted

[root@master ~]# kubectl delete pvc testnfspvc --force

warning: Immediate deletion does not wait for confirmation that the running resource has been terminated. The resource may continue to run on the cluster indefinitely.

persistentvolumeclaim "testnfspvc" force deleted

//在执行删除时，尽可能先删除pod，然后删除pvc，最后删除pv，因为我们之前定义过回收策略，所以在删除时，自动回收资源，清理PVC在PV上写入的内容，此时查看宿主机下的文件，会发现已经被删除了。

[root@master ~]# ll /data/k8snfs/

total 0

//如果自动回收失败，则PVC的STATUS属性将变为Failed，，此时PV暂时无法使用。如果之前设置的PV的回收策略时Retain（保留），那么资源将不会被回收，宿主机的文件依然存在，但是PV的属性变为了Released，并且依然不能重新绑定到其他的PVC。

Storage Class（存储类）

针对于前面的PV和PVC的创建是静态的创建，我们需要指定规定的PV大小，而且PV的创建又是手动创建整个过程会很麻烦。

Kubernetes又提供了一种Storage Class的抽象，来动态的创建PV，Storage Class简化了PV的创建过程，当申请PVC资源的时候，如果匹配到满足条件的Storage Class，就会自动的为PVC创建对应大小的PV并进行绑定

Storage Class是通过存储分配器来动态分配PV，需要注意的是Kubernetes官方内置的存储分配器并不支持NFS，所以我们需要先安装NFS存储分配器。

1.安装NFS存储器

[root@master ~]# git clone https://github.com/kubernetes-incubator/external-storage.git

//利用这种方式需要先进入到external-storage目录下找到nfs-client/deploy目录，然后创建rbac.yaml文件

或

wget https://github.com/kubernetes-retired/external-storage/blob/master/nfs-client/deploy/rbac.yaml

[root@master deploy]# kubectl create -f rbac.yaml

[root@master ~]# wget https://raw.githubusercontent.com/Kubernetes-incubator/external-storage/master/nfs-client/deploy/deployment.yaml

[root@master ~]# vi deployment.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

name: nfs-client-provisioner

labels:

    app: nfs-client-provisioner

# replace with namespace where provisioner is deployed

namespace: default

spec:

replicas: 1

strategy:

    type: Recreate

selector:

    matchLabels:

      app: nfs-client-provisioner

template:

    metadata:

      labels:

        app: nfs-client-provisioner

    spec:

      serviceAccountName: nfs-client-provisioner

      containers:

        - name: nfs-client-provisioner

          image: quay.io/external_storage/nfs-client-provisioner:latest

          volumeMounts:

            - name: nfs-client-root

              mountPath: /persistentvolumes

          env:

            - name: PROVISIONER_NAME

              value: fuseim.pri/ifs

            - name: NFS_SERVER

              value: 192.168.200.11

            - name: NFS_PATH

              value: /data/k8snfs

      volumes:

        - name: nfs-client-root

          nfs:

            server: 192.168.200.11

            path: /data/k8snfs

//在env的属性当中PROVISIONER_NAME参数代表了存储器的名称，NFS_SERVER参数代表了之前配置的NFS服务端地址， NFS_PATH代表了NFS共享目录的地址，在volume的属性中，也需要将 server与path改为之前的NFS服务器的地址和共享目录。

[root@master ~]# kubectl apply -f deployment.yaml

deployment.apps/nfs-client-provisioner created

[root@master ~]# kubectl get deployment

NAME READY UP-TO-DATE AVAILABLE AGE

nfs-client-provisioner 1/1 1 1 5m25s

[root@master ~]# kubectl get pod |grep nfs

nfs-client-provisioner-849c76dd46-drh2d 1/1 Running 0 5m45s

//从以上结果可知我们的pod和控制器都是正常运行的状态，如果在集群中已经启用了RBAC，则必须要为NFS存储器去授权，可以按照以下步骤进行操作。

[root@master ~]# wget https://github.com/kubernetes-retired/external-storage/blob/master/nfs-client/deploy/class.yaml

[root@master deploy]# vi class.yaml

apiVersion: storage.k8s.io/v1         #API的版本，此处使用的是API的稳定版

kind: StorageClass                  #资源对象

metadata:                         #元数据

name: managed-nfs-storage

provisioner: fuseim.pri/ifs          #存储器的名称，这边采用的是Deployment控制器中创建的- name: PROVISIONER_NAME参数中指定的

parameters:                        #资源对象的参数，如果archiveOnDelete为false时，与其关联的PVC在删除时，它所绑定的PV不会被存储分配器保留；如果为true则相反

archiveOnDelete: "false"

[root@master deploy]# kubectl apply -f class.yaml

storageclass.storage.k8s.io/managed-nfs-storage created

[root@master deploy]# kubectl get storageclass

NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE

managed-nfs-storage fuseim.pri/ifs Delete Immediate false 26s

[root@master deploy]# kubectl describe storageclass managed-nfs-storage

Name: managed-nfs-storage

IsDefaultClass: No

Annotations: kubectl.kubernetes.io/last-applied-configuration={"apiVersion":"storage.k8s.io/v1","kind":"StorageClass","metadata":{"annotations":{},"name":"managed-nfs-storage"},"parameters":{"archiveOnDelete":"false"},"provisioner":"fuseim.pri/ifs"}

Provisioner: fuseim.pri/ifs

Parameters: archiveOnDelete=false

AllowVolumeExpansion: <unset>

MountOptions: <none>

ReclaimPolicy: Delete

VolumeBindingMode: Immediate

Events: <none>

2.创建PVC

在K8S集群中默认仅用了SelfLink项，所以我们首先要修改api-server的配置，按照下面的方法进行修改

[root@master ~]# cd /etc/kubernetes/manifests/

[root@master manifests]# vi kube-apiserver.yaml

apiVersion: v1

kind: Pod

metadata:

annotations:

    kubeadm.kubernetes.io/kube-apiserver.advertise-address.endpoint: 192.168.200.11:6443

creationTimestamp: null

labels:

    component: kube-apiserver

  tier: control-plane

name: kube-apiserver

namespace: kube-system

spec:

containers:

- command:

    - kube-apiserver

    ......添加下面红色处

    - --tls-private-key-file=/etc/kubernetes/pki/apiserver.key

    - --feature-gates=TTLAfterFinished=true

   - --feature-gates=RemoveSelfLink=false

[root@master manifests]# kubectl apply -f kube-apiserver.yaml

//等待api-pod运行正常，在创建pvc

[root@master ~]# vi teststoragepvc.yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

name: teststorageclass

spec:

accessModes:

    - ReadWriteMany

storageClassName: "managed-nfs-storage"

resources:

    requests:

      storage: 500Mi

[root@master ~]# kubectl apply -f teststoragepvc.yaml

persistentvolumeclaim/teststorageclass created

[root@master ~]# kubectl get pvc

NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE

teststorageclass Bound pvc-f5ca4c79-b080-4f83-a800-653d0a7ab891 500Mi RWX managed-nfs-storage 6s

[root@master ~]# ^C

[root@master ~]# kubectl get pv

NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE

pvc-f5ca4c79-b080-4f83-a800-653d0a7ab891 500Mi RWX Delete Bound default/teststorageclass managed-nfs-storage 29s

[root@master ~]# kubectl describe pv

Name: pvc-f5ca4c79-b080-4f83-a800-653d0a7ab891

Labels: <none>

Annotations: pv.kubernetes.io/provisioned-by: fuseim.pri/ifs

Finalizers: [kubernetes.io/pv-protection]

StorageClass: managed-nfs-storage

Status: Bound

Claim: default/teststorageclass

Reclaim Policy: Delete

Access Modes: RWX

VolumeMode: Filesystem

Capacity: 500Mi

Node Affinity: <none>

Message:

Source:

 Type: NFS (an NFS mount that lasts the lifetime of a pod)

 Server: 192.168.200.11

 Path: /data/k8snfs/default-teststorageclass-pvc-f5ca4c79-b080-4f83-a800-653d0a7ab891

 ReadOnly: false

Events: <none>

//从标红的位置我们可以看到动态的PV在NFS服务器的目录中创建了一个他的专属子目录

[root@master ~]# vi teststoragedeployment.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

name: teststoragedeployment

spec:

replicas: 2

selector:

    matchLabels:

      example: teststoragedeployment

template:

    metadata:

      labels:

        example: teststoragedeployment

    spec:

      containers:

      - name: teststoragedeployment

        image: busybox

        imagePullPolicy: IfNotPresent

        command: ['sh','-c']

        args: ['echo "The host is $(hostname)" >> /dir/dataforpvc; sleep 3600']

        volumeMounts:

        - name: pvcdata

          mountPath: /dir

      volumes:

      - name: pvcdata

        persistentVolumeClaim:

          claimName: teststorageclass

[root@master ~]# kubectl apply -f teststoragedeployment.yaml

deployment.apps/teststoragedeployment created

[root@master ~]# kubectl get pod

NAME                                       READY   STATUS    RESTARTS        AGE

teststoragedeployment-b7db57c78-65zzc      1/1     Running   0               15s

teststoragedeployment-b7db57c78-cqkhv      1/1     Running   0               15s

[root@master ~]# cat /data/k8snfs/d

data

default-teststorageclass-pvc-f5ca4c79-b080-4f83-a800-653d0a7ab891/

[root@master ~]# cat /data/k8snfs/default-teststorageclass-pvc-f5ca4c79-b080-4f83-a800-653d0a7ab891/dataforpvc

The host is teststoragedeployment-b7db57c78-65zzc

The host is teststoragedeployment-b7db57c78-cqkhv

注意：在删除时也要遵循先删控制器/pod，然后删pvc，在这里我们删除完pvc后会直接将pv动态进行删除，以及PV的专属子目录在主机上也会删除

StatefulSet控制器

提供排序和唯一性保证的特殊Pod控制器，当有部署顺序、持久化数据以及固定网络等相关特殊需求时，可以使用该控制器进行细粒度的控制。

该控制器对于有状态服务（Deployment对应于无状态服务），其功能如下：

实现稳定的持久化存储：Pod重新调度之后还能访问相同的持久化数据，可基于PVC来实现
实现稳定的网络标识：Pod重新调度之后其PodName和HostName保持不变，基于无头Service（没有ClusterIPde Service实现）
实现有序部署、有序伸缩：Pod是有顺序的，在部署或者扩展的时候要依据定义的顺序依次执行（也就是说从第一个到最后一个一次部署，在下一个Pod运行之前所有的Pod都必须处于running或ready状态）
实现有序收缩、有序删除：从最后一个开始，一次删除至第一个
无头Service：用于为Pod资源标识符生成可以解析的DNS记录
VolumeClaimTempalte：基于静态或动态的PV供给方式为Pod资源提供专属的固定存储
StatefulSet：管理Pod资源

StatefulSet控制器下的Pod，虽然各个Pod定义是一样的，但是因为数据的不同，所提供的服务是有差异的，分布式存储系统就非常适合StatefulSet控制器，由PodA存储一部分数据并提供相关服务，由Pod B存储另外一部分的数据提供相关服务。在这些场景中每一个有状态的Pod提供的服务是不一样的，所以每一个Pod是不能被取代的，必须是有序的分配而且必须为其分配唯一的标识。Pod名称就是它们唯一的标识符，和Deployment控制器下的Pod不同，即使有状态的Pod发生故障并被重建，Pod名称也会和原来的一模一样。因为各个有状态的Pod也必须要拥有一个唯一的网络标识符一访问具体的某个Pod，，所以采用无头Service，它会给每一个Pod分配唯一的一个DNS名称。

有状态的Pod都会使用到持久存储，众所周知，有状态的Pod最大的特点是每一个Pod中的数据是不一样的，所以各个Pod没有办法使用同一个存储卷。因为每个Pod要拥有自己的专用存储卷，所以这个存储卷的定义并不是在Pod模板中定义的（如果实在Pod模板中定义，那么每个Pod都会用到同一个存储卷），StatefuSet控制器的存储卷配置，而是在StatefuSet控制器模板的VolumeClaimTemplate属性中定义存储卷的申请模板，为每一个Pod生成不同的PVC并且绑定各自的PV，从而使各个Pod拥有各自专用的存储卷。

因为每个Pod都会产生各自专用的PVC以及PV，所以StatefuSet控制器的存储最好通过StorageClass来进行动态创建。Sure,也可通过手动创建各个预设的PV，But会很麻烦。

1.创建控制器&&service

[root@master ~]# cat teststatefulset.yaml

apiVersion: v1

kind: Service

metadata:

name: teststatefulsetservice

spec:

selector:

 example: teststateful

clusterIP: None

ports:

 - protocol: TCP

 port: 8080

 targetPort: 80

type: ClusterIP

---

apiVersion: apps/v1

kind: StatefulSet

metadata:

name: teststatefulset

spec:

replicas: 3

serviceName: "teststatefulsetservice"

selector:

 matchLabels:

 example: teststateful

template:

 metadata:

 labels:

 example: teststateful

 spec:

 containers:

 - name: pythonservice

 image: python:3.7

 imagePullPolicy: IfNotPresent

 command: ['sh','-c']

 args: ['echo "The host is $(hostname)" >> /dir/data; echo "The host is $(hostname)" >index.html; python -m http.server 80']

 volumeMounts:

 - name: statefuldata

 mountPath: /dir

 ports:

 - name: http

 containerPort: 80

volumeClaimTemplates:

 - metadata:

 name: statefuldata

 spec:

 accessModes: ["ReadWriteOnce"]

 storageClassName: "managed-nfs-storage"

 resources:

 requests:

 storage: 200Mi

//此模板分为三个部分的内容，先创建了一个无头Service，名称为“teststatefulsetservice”，它会通过标签选择器关联到各个标签为teststateful的pod上。

然后创建了一个statefulset的模板，定义了三个Pod副本，容器为“Python3.7”的镜像，目的是为了构建服务。在启动容器时会以追加的方式向/data/dir文件写入The host is $(hostname)，获取当前Pod名称，/dir目录通过volumeMounts的属性映射到statefuldata的存储卷，在写入文本时会直接写入存储卷。

接下来，执行echo "The host is $(hostname)语句将代码插入到html文件，这样在访问时就知道访问的是哪个Pod，另外通过 python -m http.server 80构建一个简单的Web服务，并且声明服务的端口为80。

后半部分为存储卷的申请模板，内容基本和PVC类似，但需要注意我们这里批量定义了PVC，然后storageclass属性为上一节创建的，requests为storage:200Mi，表示为每一个Pod搜申请200Mi的存储空间。

[root@master ~]# kubectl apply -f teststatefulset.yaml

service/teststatefulsetservice unchanged

statefulset.apps/teststatefulset created

[root@master ~]# kubectl get pod

NAME                                       READY   STATUS    RESTARTS       AGE

teststatefulset-0                          1/1     Running   0              8s

teststatefulset-1                          1/1     Running   0              6s

teststatefulset-2                          1/1     Running   0             5s

//从上述结果可知，在创建的过程中，并且在不同时段去查看pod创建状态，会发现Pod创建顺序是依次创建的，Pod名称和Deployment控制器不一样，名称末尾并没有随机生成字符串，二十按照数字从0依次叠加。

[root@master ~]# kubectl get statefulset

NAME READY AGE

teststatefulset 3/3 6m7s

[root@master ~]# kubectl describe statefulset teststatefulset

Name: teststatefulset

Namespace: default

CreationTimestamp: Mon, 29 May 2023 23:00:15 -0400

Selector: example=teststateful

Labels: <none>

Annotations: <none>

Replicas: 3 desired | 3 total

Update Strategy: RollingUpdate

Partition: 0

Pods Status: 3 Running / 0 Waiting / 0 Succeeded / 0 Failed

Pod Template:

Labels: example=teststateful

Containers:

 pythonservice:

 Image: python:3.7

 Port: 80/TCP

 Host Port: 0/TCP

 Command:

 sh

 -c

 Args:

 echo "The host is $(hostname)" >> /dir/data; echo "The host is $(hostname)" >index.html; python -m http.server 80

 Environment: <none>

 Mounts:

 /dir from statefuldata (rw)

Volumes: <none>

Volume Claims:

Name: statefuldata

StorageClass: managed-nfs-storage

Labels: <none>

Annotations: <none>

Capacity: 200Mi

Access Modes: [ReadWriteOnce]

Events:

Type Reason Age From Message

---- ------ ---- ---- -------

Normal SuccessfulCreate 6m33s statefulset-controller create Pod teststatefulset-0 in StatefulSet teststatefulset successful

Normal SuccessfulCreate 6m31s statefulset-controller create Pod teststatefulset-1 in StatefulSet teststatefulset successful

Normal SuccessfulCreate 6m30s statefulset-controller create Pod teststatefulset-2 in StatefulSet teststatefulset successful

2.PV以及PVC的使用

[root@master ~]# kubectl get pv,pvc

NAME                                                        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                                    STORAGECLASS          REASON   AGE

persistentvolume/pvc-bbf264cc-be7d-4b53-9a7e-ee5c3bb19bb5   200Mi      RWO            Delete           Bound       default/statefuldata-teststatefulset-1   managed-nfs-storage            19m

persistentvolume/pvc-c94269db-3267-4fc3-8727-b8b51afed71a   200Mi      RWO            Delete           Bound       default/statefuldata-teststatefulset-2   managed-nfs-storage            19m

persistentvolume/pvc-fb168ccf-f6e8-43d0-9be7-873396518907   200Mi      RWO            Delete           Bound       default/statefuldata-teststatefulset-0   managed-nfs-storage            19m

persistentvolume/testnfspv                                  1Gi        RWX            Recycle          Available                                            testnfs                        4d18h

NAME                                                   STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS          AGE

persistentvolumeclaim/statefuldata-teststatefulset-0   Bound    pvc-fb168ccf-f6e8-43d0-9be7-873396518907   200Mi      RWO            managed-nfs-storage   19m

persistentvolumeclaim/statefuldata-teststatefulset-1   Bound    pvc-bbf264cc-be7d-4b53-9a7e-ee5c3bb19bb5   200Mi      RWO            managed-nfs-storage   19m

persistentvolumeclaim/statefuldata-teststatefulset-2   Bound    pvc-c94269db-3267-4fc3-8727-b8b51afed71a   200Mi      RWO            managed-nfs-storage   19m

//接下来随意挑选出一个PV，查询状态

[root@master ~]# kubectl describe pv pvc-fb168ccf-f6e8-43d0-9be7-873396518907

Name: pvc-fb168ccf-f6e8-43d0-9be7-873396518907

Labels: <none>

Annotations: pv.kubernetes.io/provisioned-by: fuseim.pri/ifs

Finalizers: [kubernetes.io/pv-protection]

StorageClass: managed-nfs-storage

Status: Bound

Claim: default/statefuldata-teststatefulset-0

Reclaim Policy: Delete

Access Modes: RWO

VolumeMode: Filesystem

Capacity: 200Mi

Node Affinity: <none>

Message:

Source:

 Type: NFS (an NFS mount that lasts the lifetime of a pod)

 Server: 192.168.200.11

 Path: /data/k8snfs/default-statefuldata-teststatefulset-0-pvc-fb168ccf-f6e8-43d0-9be7-873396518907

 ReadOnly: false

Events: <none>

[root@master ~]# cat /data/k8snfs/default-statefuldata-teststatefulset-0-pvc-fb168ccf-f6e8-43d0-9be7-873396518907/data

The host is teststatefulset-0

The host is teststatefulset-0

3.无头Service的访问

[root@master ~]# kubectl get svc

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

teststatefulsetservice ClusterIP None <none> 8080/TCP 156m

//由于这个Service无法通过集群内外的机器直接访问，因此只有Pod才可以访问，而且需要DNS的形式来进行访问，其具体的形式为{ServiceName}.{Namespace}.svc.{ClusterDomain}

[root@master ~]# vi testpodheadlessservice.yaml

apiVersion: v1

kind: Pod

metadata:

name: testpodheadlessservice

spec:

containers:

- name: testcontainer

    image: docker.io/appropriate/curl

    imagePullPolicy: IfNotPresent

    command: ['sh','-c']

    args: ['echo "The test pod for headless service!"; sleep 3600']

[root@master ~]# kubectl apply -f testpodheadlessservice.yaml

pod/testpodheadlessservice created

[root@master ~]# kubectl exec -it testpodheadlessservice -- /bin/sh

/ # nslookup teststatefulsetservice.default.svc.cluster.local

nslookup: can't resolve '(null)': Name does not resolve

Name: teststatefulsetservice.default.svc.cluster.local

Address 1: 10.244.1.108 teststatefulset-0.teststatefulsetservice.default.svc.cluster.local

Address 2: 10.244.1.110 teststatefulset-2.teststatefulsetservice.default.svc.cluster.local

Address 3: 10.244.1.109 teststatefulset-1.teststatefulsetservice.default.svc.cluster.local

//总共返回了三个地址，然后K8S又为每一个Pod地址创建了对应的专属域名，访问这些域名就可以访问指定的Pod，当然也可通过无头Service的总域名来访问服务