Linux企业运维——Kubernetes(十一)存储之Volumes配置管理

Linux企业运维——Kubernetes(十一)存储之Volumes配置管理

一、Volumes简介

容器中的文件在磁盘上是临时存放的,这给容器中运行的特殊应用程序带来一些问题。首先,当容器崩溃时,kubelet 将重新启动容器,容器中的文件将会丢失,因为容器会以干净的状态重建。其次,当在一个 Pod 中同时运行多个容器时,常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题。

Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。 因此,卷比 Pod 中运行的任何容器的存活期都长,在容器重新启动时数据也会得到保留。 当然,当一个 Pod 不再存在时,卷也将不再存在。也许更重要的是,Kubernetes 可以支持许多类型的卷,Pod 也能同时使用任意数量的卷。

卷不能挂载到其他卷,也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。

二、emptyDir卷

2.1、emptyDir简介

当 Pod 指定到某个节点上时,首先创建的是一个 emptyDir 卷,并且只要 Pod 在该节点上运行,卷就一直存在。 就像它的名称表示的那样,卷最初是空的。 尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同,但是这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时,emptyDir 卷中的数据也会永久删除。

emptyDir 的使用场景:

  • 缓存空间,例如基于磁盘的归并排序。
  • 为耗时较长的计算任务提供检查点,以便任务能方便地从崩溃前状态恢复执行。
  • 在 Web 服务器容器服务数据时,保存内容管理器容器获取的文件。

默认情况下, emptyDir 卷存储在支持该节点所使用的介质上;这里的介质可以是磁盘或 SSD 或网络存储,这取决于您的环境。 但是,您可以将 emptyDir.medium 字段设置为 “Memory”,以告诉 Kubernetes 为您安装 tmpfs(基于内存的文件系统)。 虽然 tmpfs 速度非常快,但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除,并且您所写入的所有文件都会计入容器的内存消耗,受容器内存限制约束。

2.2、emptyDir示例

编辑vol1.yaml配置文件,在一个pod中创建两个容器共享volume,其中vm1中的卷挂载到容器内的/cache,vm2中的卷挂载到容器内的/usr/share/nginx/html。
使用内存介质,限制大小为100M
在这里插入图片描述
应用配置
在这里插入图片描述
连接进入容器vm1,将内容写入/cache目录下的index.html
在这里插入图片描述
查看pod信息及所在节点,看到vol1在10.244.141.220,测试访问,访问成功
在这里插入图片描述
连接进入vm2,进入/usr/share/nginx/html目录下,查看index.html内容并写入新的内容
在这里插入图片描述
进入vm2查看index.html,数据同步,证明了同一个pod内的两个容器vm1和vm2共用卷资源
在这里插入图片描述
我们在配置文件里限定了内存100M,现在写入了200M的文件,看到pod损坏
在这里插入图片描述
在这里插入图片描述
可以看到文件超过sizeLimit,则一段时间后(1-2分钟)会被kubelet evict掉。之所以不是“立即”被evict,是因为kubelet是定期进行检查的,这里会有一个时间差。

emptydir缺点:

  • 不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出,但是这个时间内,其实对node还是有风险的;
  • 影响kubernetes调度,因为emptydir并不涉及node的resources,这样会造成Pod“偷偷”使用了node的内存,但是调度器并不知晓;
  • 用户不能及时感知到内存不可用

三、hostPath 卷

hostPath 卷能将主机节点文件系统上的文件或目录挂载到您的 Pod 中。 虽然这不是大多数 Pod 需要的,但是它为一些应用程序提供了强大的逃生舱。

hostPath 的一些用法有:

  • 运行一个需要访问 Docker 引擎内部机制的容器,挂载 /var/lib/docker 路径。
  • 在容器中运行 cAdvisor 时,以 hostPath 方式挂载 /sys。
  • 允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在,是否应该创建以及应该以什么方式存在。

除了必需的 path 属性之外,用户可以选择性地为 hostPath 卷指定 type
在这里插入图片描述
当使用这种类型的卷时要小心,因为:

  • 具有相同配置(例如从 podTemplate 创建)的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为。
  • 当 Kubernetes 按照计划添加资源感知的调度时,这类调度机制将无法考虑由 hostPath 使用的资源。
  • 基础主机上创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root
    身份运行进程,或者修改主机上的文件权限以便容器能够写入 hostPath 卷。

2.1、挂载目录到pod中

创建host.yaml 文件,指定卷的路径在/data(如果指定路径上不存在,那么会根据需要创建空目录,权限为0755,具有与kubelet相同的组和所有权),把卷挂载到容器内的/test-pd
在这里插入图片描述
应用配置,test-pd被创建,查看其所在节点在server3
在这里插入图片描述
连接到test-pd,在test-pd目录下写入内容到file1
在这里插入图片描述
在节点server3进入到/data目录下,可以看到file1及其内容,在这里删除file1
在这里插入图片描述
再回到test-pd容器的/test-pd目录下查看,看到文件被删除了
在这里插入图片描述

2.2、主机内nfs挂载到pod中

server1安装nfs插件,编辑/etc/exports文件
在这里插入图片描述
server2编辑nfs.yaml文件,设置卷的路径是172.25.11.1/mnt/nfs,挂载到test-pd容器内的/usr/share/nginx/html目录下在这里插入图片描述
应用配置,可以看到pod没有创建成功,因为该pod被分配在server3节点,而server3节点没有安装nfs或nfs未开启
在这里插入图片描述
server3安装nfs
在这里插入图片描述
现在server2查看test-pd是运行状态
在这里插入图片描述

四、PersistentVolume持久卷

PersistentVolume(持久卷,简称PV)是集群内,由管理员提供的网络存储的一部分。就像集群中的节点一样,PV也是集群中的一种资源。它也像Volume一样,是一种volume插件,但是它的生命周期却是和使用它的Pod相互独立的。PV这个API对象,捕获了诸如NFS、ISCSI、或其他云存储系统的实现细节。

PersistentVolumeClaim(持久卷声明,简称PVC)是用户的一种存储请求。它和Pod类似,Pod消耗Node资源,而PVC消耗PV资源。Pod能够请求特定的资源(如CPU和内存)。PVC能够请求指定的大小和访问的模式(可以被映射为一次读写或者多次只读)。

有两种PV提供的方式:静态和动态。

  • 静态PV:集群管理员创建多个PV,它们携带着真实存储的详细信息,这些存储对于集群用户是可用的。它们存在于Kubernetes API中,并可用于存储使用。
  • 动态PV:当管理员创建的静态PV都不匹配用户的PVC时,集群可能会尝试专门地供给volume给PVC。这种供给基于StorageClass。

PVC与PV的绑定是一对一的映射。没找到匹配的PV,那么PVC会无限期得处于unbound未绑定状态

使用: Pod使用PVC就像使用volume一样。集群检查PVC,查找绑定的PV,并映射PV给Pod。对于支持多种访问模式的PV,用户可以指定想用的模式。一旦用户拥有了一个PVC,并且PVC被绑定,那么只要用户还需要,PV就一直属于这个用户。用户调度Pod,通过在Pod的volume块中包含PVC来访问PV。
释放: 当用户使用PV完毕后,他们可以通过API来删除PVC对象。当PVC被删除后,对应的PV就被认为是已经是“released”了,但还不能再给另外一个PVC使用。前一个PVC的属于还存在于该PV中,必须根据策略来处理掉。
回收: PV的回收策略告诉集群,在PV被释放之后集群应该如何处理该PV。当前,PV可以被Retained(保留)、 Recycled(再利用)或者Deleted(删除)。保留允许手动地再次声明资源。对于支持删除操作的PV卷,删除操作会从Kubernetes中移除PV对象,还有对应的外部存储(如AWS EBS,GCE PD,Azure Disk,或者Cinder volume)。动态供给的卷总是会被删除。

4.1、静态PV

server1在/mnt/nfs目录下创建pv1和pv2目录,分别在两个目录下创建不同内容的index.html
在这里插入图片描述
访问模式

  • ReadWriteOnce – 该volume只能被单个节点以读写的方式映射
  • ReadOnlyMany – 该volume可以被多个节点以只读方式映射
  • ReadWriteMany – 该volume可以被多个节点以读写的方式映射

在命令行中,访问模式可以简写为:
RWO - ReadWriteOnce
ROX - ReadOnlyMany
RWX - ReadWriteMany

回收策略

  • Retain:保留,需要手动回收
  • Recycle:回收,自动删除卷中数据
  • Delete:删除,相关联的存储资产,如AWS EBS,GCE PD,Azure Disk,or OpenStackCinder卷都会被删除

当前,只有NFS和HostPath支持回收利用,AWS EBS,GCE PD,Azure Disk,or OpenStack Cinder卷支持删除操作。

编辑pv.yaml文件
pv1设定一次读写,nfs路径是172.25.19.1/mnt/nfs/pv1
pv2设定多次读写,nfs路径是172.25.19.1/mnt/nfs/pv2
在这里插入图片描述
在这里插入图片描述
完成编辑后应用配置,可以看到pv1和pv2被创建
在这里插入图片描述
编辑pvc.yaml配置文件,pvc1设定一次读写,最低需求存储是1G,pvc2设定多次读写,最低需求存储是10G
在这里插入图片描述
应用配置,看到pvc1和pvc2被创建
在这里插入图片描述
状态:

  • Available:空闲的资源,未绑定给PVC
  • Bound:绑定给了某个PVC
  • Released:PVC已经删除了,但是PV还没有被集群回收
  • Failed:PV在自动回收中失败了

命令行可以显示PV绑定的PVC名称。
查看pvc列表,现在状态是Bound
在这里插入图片描述
编辑pod.yaml,创建两个pod分别是test-pd-1和test-pd-2,持久卷声明分别为pvc1和pvc2
在这里插入图片描述
在这里插入图片描述
应用配置,两个pod被创建
在这里插入图片描述
查看这两个pod所在地址,然后测试访问,可以看到访问成功,内容正是我们开始在pv1和pv2目录内编辑的内容
在这里插入图片描述
删除刚创建的pod和pvc
在这里插入图片描述
可以看到pv现在是Available状态
在这里插入图片描述
静态pv在删除时要注意顺序,先删除pod,再删除pvc,最后删除pv

4.2、动态PV

StorageClass提供了一种描述存储类(class)的方法,不同的class可能会映射到不同的服务质量等级和备份策略或其他策略等。
每个 StorageClass 都包含 provisioner、parameters 和 reclaimPolicy 字段, 这些字段会在StorageClass需要动态分配 PersistentVolume 时会使用到。

StorageClass的属性:

  • Provisioner(存储分配器):用来决定使用哪个卷插件分配PV,该字段必须指定。可以指定内部分配器,也可以指定外部分配器。外部分配器的代码地址为:kubernetes-incubator/external-storage,其中包括NFS和Ceph等。
  • ReclaimPolicy(回收策略):通过reclaimPolicy字段指定创建的Persistent Volume的回收策略,回收策略包括:Delete 或者 Retain,没有指定默认为Delete。

NFS Client Provisioner是一个automatic provisioner,使用NFS作为存储,自动创建PV和对应的PVC,本身不提供NFS存储,需要外部先有一套NFS存储服务。
PV以${namespace}-${pvcName}-${pvName}的命名格式提供(在NFS服务器上)
PV回收的时候以 archieved- n a m e s p a c e − {namespace}- namespace{pvcName}-${pvName} 的命名格式(在NFS服务器上)

nfs-client-provisioner源码地址:点击查看

确认集群状态:kubectl get pod -n kube-system,全部是就绪状态
在这里插入图片描述
真实主机将nfs-client-provisioner.tar发送给server1,将nfs-client-provisioner.yaml配置文件发送到server2的/root/volumes/nfs-client目录下
在这里插入图片描述
server1加载nfs-client-provisioner镜像,然后将镜像上传到仓库
在这里插入图片描述
server2编辑nfs-client-provisioner.yaml配置文件
在这里插入图片描述
设置如下参数

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: nfs-subdir-external-provisioner:v4.0.0
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: westos.org/nfs
            - name: NFS_SERVER
              value: 172.25.19.1
            - name: NFS_PATH
              value: /mnt/nfs
      volumes:
        - name: nfs-client-root
          nfs:
            server: 172.25.19.1
            path: /mnt/nfs

在这里插入图片描述
在这里插入图片描述
创建nfs-client-provisioner命名空间,应用配置
在这里插入图片描述
查看创建的sc和ns
在这里插入图片描述
编辑test-pvc.yaml文件,声明managed-nfs-storage

[root@server2 nfs-client]# cat test-pvc.yaml 
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: test-claim
spec:
  storageClassName: managed-nfs-storage
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Mi

在这里插入图片描述
应用配置,test-claim被创建,查看pvc,可以看到test-claim状态已经是Bound,一旦创建了pvc就自动创建了对应的pv
在这里插入图片描述
server1切换到/mnt/nfs目录下,查看发现自动创建了下图目录
在这里插入图片描述
删除test-pvc.yaml配置文件,删除pvc,可以看到pv也一起被删除了,这是没有指定回收策略,默认为Delete。
在这里插入图片描述
server1的/mnt/nfs目录下删除之前自动创建的文件夹
在这里插入图片描述
server2编辑pod.yaml
在这里插入图片描述
为test-pd-2配置pvc,声明名称为test-claim

[root@server2 volumes]# cat pod.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: test-pd-2
spec:
  containers:
  - image: nginx
    name: nginx
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: pv2
  volumes:
  - name: pv2
    persistentVolumeClaim:
      claimName: test-claim

在这里插入图片描述
server2编辑nfs-client-provisioner.yaml配置文件
archiveOnDelete字面意思为删除时是否存档,false表示不存档,即删除数据,true表示存档,即重命名路径。如果storageClass对象中指定archiveOnDelete参数并且值为false,则会自动删除oldPath下的所有数据,即pod对应的数据持久化存储数据。

[root@server2 nfs-client]# cat nfs-client-provisioner.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: nfs-client-provisioner
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: nfs-client-provisioner
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: nfs-client-provisioner
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: nfs-client-provisioner
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: nfs-subdir-external-provisioner:v4.0.0
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: westos.org/nfs
            - name: NFS_SERVER
              value: 172.25.19.1
            - name: NFS_PATH
              value: /mnt/nfs
      volumes:
        - name: nfs-client-root
          nfs:
            server: 172.25.19.1
            path: /mnt/nfs
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: managed-nfs-storage
provisioner: westos.org/nfs
parameters:
  archiveOnDelete: "false"

在这里插入图片描述
应用配置
在这里插入图片描述
server1自动创建了下图目录
在这里插入图片描述
查看test-pd-2的节点地址,测试访问,403报错,因为没有默认发布页面
在这里插入图片描述
server1进入到下图目录,在里面创建默认发布页面文件
在这里插入图片描述
server2再次测试访问,访问成功
在这里插入图片描述
删除test-pd-2和test-claim,可以看到环境清空
动态的pv不需要手动回收,pvc删除后pv就没了
在这里插入图片描述
server1中的pv也被清除了
在这里插入图片描述
编辑test-pvc.yaml
在这里插入图片描述
把文件中的sc名称注释掉
在这里插入图片描述
应用配置,test-claim被创建,查看pvc看到test-claim的状态是Pending,因为没有指定sc名
在这里插入图片描述
如果不指定sc名称,可以通过另一种方法
删除之前的test-pvc,重新创建,将managed-nfs-storage设为默认sc。
可以看到状态为Bound
在这里插入图片描述
如果test-pvc.yaml文件中的sc指定的是不存在的,那么应用配置后pvc的状态为Pending,不能正常使用
要么指定存储类,要么使用默认类,否则创建pvc后一直处于pending状态
在这里插入图片描述
在这里插入图片描述

五、StatefulSet控制器

StatefulSet控制器:有序、唯一标识
首先创建无头服务:为不同的pod做标识
创建控制器
为pod根据其名称(唯一标识、有序递增,不是ip,ip会动态变化)为其创建访问解析
有序创建

StatefulSet将应用状态抽象成了两种情况:

  • 拓扑状态:应用实例必须按照某种顺序启动。新创建的Pod必须和原来Pod的网络标识一样
  • 存储状态:应用的多个实例分别绑定了不同存储数据。

StatefulSet给所有的Pod进行了编号,编号规则是:$(statefulset名称)-$(序号),从0开始。
Pod被删除后重建,重建Pod的网络标识也不会改变,Pod的拓扑状态按照Pod的“名字+编号”的方式固定下来,并且为每个Pod提供了一个固定且唯一的访问入口,即Pod对应的DNS记录。

删除之前的test-pvc.yaml配置文件,清除test-claim,创建新的test-pvc.yaml
在这里插入图片描述
test-pvc.yaml配置内容如下
在这里插入图片描述
编辑nginx-svc.yaml,创建nginx-svc服务

[root@server2 statefulset]# cat nginx-svc.yaml 
apiVersion: v1
kind: Service
metadata:
 name: nginx-svc
 labels:
  app: nginx
spec:
 ports:
 - port: 80
   name: web
 clusterIP: None
 selector:
  app: nginx

在这里插入图片描述
应用配置
在这里插入图片描述
查看nginx-svc详细信息,看到没有后端服务节点
在这里插入图片描述
编辑statefulset.yaml 文件,使用StatefulSet控制器产生两个pod副本
在这里插入图片描述
应用配置,可以看到新创建的两个pod正在运行
在这里插入图片描述
查看pod节点信息,web-0在10.244.141.233,web-1在10.244.141.234,现在查看nginx-svc的详细信息,可以看到有两个后端节点
在这里插入图片描述
修改statefulset.yaml 文件,副本数量扩容为6
在这里插入图片描述
应用配置,可以看到现在有6个pod,并且是依次按顺序地逐个生成
在这里插入图片描述
修改statefulset.yaml 文件,副本数量减少为0
回收时不能用delete -f,否则会无序整体回收,在文件中修改副本数为0,有序(倒序删除)
在这里插入图片描述
也是逐个删除的,并且是先删除AGE小的,再删除AGE大的
在这里插入图片描述
修改statefulset.yaml 文件,将副本数量恢复到3个,镜像为myapp:v1
StatefulSet控制器进行镜像版本更新是倒序一个一个更新,不是RS+Deployment全部删除再重新拉起
在这里插入图片描述应用配置
在这里插入图片描述
通过busybox镜像拉起容器demo,连接demo查看nginx-svc详细信息,可以看到负载均衡的3个节点
在这里插入图片描述
轮询应答,负载均衡
在这里插入图片描述
删除上一个statefulset.yaml配置,重新编写
在这里插入图片描述

[root@server2 statefulset]# cat statefulset.yaml 
apiVersion: apps/v1
kind: StatefulSet
metadata:
 name: web
spec:
 serviceName: "nginx-svc"
 replicas: 3
 selector:
  matchLabels:
   app: nginx
 template:
  metadata:
   labels:
    app: nginx
  spec:
   containers:
   - name: nginx
     image: myapp:v1
     ports:
     - containerPort: 80
       name: web
     volumeMounts:
       - name: www
         mountPath: /usr/share/nginx/html
 volumeClaimTemplates:
  - metadata:
     name: www
    spec:
     #storageClassName: nfs
     accessModes:
     - ReadWriteOnce
     resources:
      requests:
       storage: 1Gi

内容如下图,名称为www
在这里插入图片描述
应用配置,查看pvc可以看到依次创建了3个,且分别自动创建了对应的pv
在这里插入图片描述
server1的/mnt/nfs目录下,给三个pvc文件夹下分别写入标识信息以供测试
在这里插入图片描述
server2连接到demo容器,直接访问服务名nginx-svc,可以看到响应是负载均衡的
在这里插入图片描述
访问具体的服务节点,则会有相对应的响应
在这里插入图片描述
测试将副本删除后再重新创建,原来的数据还是否存在
先在配置文件中将副本数量改为0
在这里插入图片描述
应用配置
在这里插入图片描述
再将副本数量改回为3
在这里插入图片描述
应用配置,连接到demo容器进行测试,可以看到原先的内容还是存在的
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值