【Kubernetes】Pod理论详解

一、Pod基础概念:

Pod是kubernetes中最小的资源管理组件,Pod也是最小化运行容器化应用的资源对象。一个Pod代表着集群中运行的一个进程。kubernetes中其他大多数组件都是围绕着Pod来进行支撑和扩展Pod功能的,例如,用于管理Pod运行的StatefulSet和Deployment等控制器对象,用于暴露Pod应用的Service和Ingress对象,为Pod提供存储的PersistentVolume存储资源对象等。

在Kubrenetes集群中Pod有如下两种使用方式:

一个Pod中运行一个容器。“每个Pod中一个容器”的模式是最常见的用法;在这种使用方式中,你可以把Pod想象成是单个容器的封装,kuberentes管理的是Pod而不是直接管理容器。

在一个Pod中同时运行多个容器。一个Pod中也可以同时封装几个需要紧密耦合互相协作的容器,它们之间共享资源。这些在同一个Pod中的容器可以互相协作成为一个service单位,比如一个容器共享文件,另一个“sidecar”(边车)容器来更新这些文件。Pod将这些容器的存储资源作为一个实体来管理。


一个Pod下的容器必须运行于同一节点上。现代容器技术建议一个容器只运行一个进程,该进程在容器中PID命令空间中的进程号为1,可直接接收并处理信号,进程终止时容器生命周期也就结束了。若想在容器内运行多个进程,需要有一个类似Linux操作系统init进程的管控类进程,以树状结构完成多进程的生命周期管理。运行于各自容器内的进程无法直接完成网络通信,这是由于容器间的隔离机制导致,k8s中的Pod资源抽象正是解决此类问题,Pod对象是一组容器的集合,这些容器共享Network、UTS及IPC命令空间,因此具有相同的域名、主机名和网络接口,并可通过IPC直接通信。

Pod资源中针对各容器提供网络命令空间等共享机制的是底层基础容器pause,基础容器(也可称为父容器)pause就是为了管理Pod容器间的共享操作,这个父容器需要能够准确地知道如何去创建共享运行环境的容器,还能管理这些容器的生命周期。为了实现这个父容器的构想,kubernetes中,用pause容器来作为一个Pod中所有容器的父容器。这个pause容器有两个核心的功能,一是它提供整个Pod的Linux命名空间的基础。二来启用PID命名空间,它在每个Pod中都作为PID为1进程(init进程),并回收僵尸进程

pause容器使得Pod中的所有容器可以共享两种资源:网络和存储。

●网络:

每个Pod都会被分配一个唯一的IP地址。Pod中的所有容器共享网络空间,包括IP地址和端口。Pod内部的容器可以使用localhost互相通信。Pod中的容器与外界通信时,必须分配共享网络资源(例如使用宿主机的端口映射)。

●存储:

Pod可以指定多个共享的Volume。Pod中的所有容器都可以访问共享的Volume。Volume也可以用来持久化Pod中的存储资源,以防容器重启后文件丢失。

总结:

每个Pod都有一个特殊的被称为“基础容器”的Pause容器。Pause容器对应的镜像属于Kubernetes平台的一部分,除了Pause容器,每个Pod还包含一个或者多个紧密相关的用户应用容器

kubernetes中的pause容器主要为每个容器提供以下功能:

●在pod中担任Linux命名空间(如网络命令空间)共享的基础;
●启用PID命名空间,开启init进程。

协调他的容器生命周期

提供健康检查和生存探针

Kubernetes设计这样的Pod概念和特殊组成结构有什么用意?????

●原因一:在一组容器作为一个单元的情况下,难以对整体的容器简单地进行判断及有效地进行行动。比如,一个容器死亡了 那么引入与业务无关的Pause容器作为Pod的基础容器,以它的状态代表着整个容器组的状态,这样就可以解决该问题。

●原因二:Pod里的多个应用容器共享Pause容器的IP,共享Pause容器挂载的Volume,Pod内的容器共享了Pause 容器的IP、网络和数据,简化了Pod内应用容器间的通信和文件共享


二、通常把Pod分为两类:

●自主式Pod 

这种Pod本身是不能自我修复的,当Pod被创建后(不论是由你直接创建还是被其他Controller),都会被Kubernetes调度到集群的Node上。直到Pod的进程终止、被删掉、因为缺少资源而被驱逐、或者Node故障之前这个Pod都会一直保持在那个Node上。Pod不会自愈。如果Pod运行的Node故障,或者是调度器本身故障,这个Pod就会被删除。同样的,如果Pod所在Node缺少资源或者Pod处于维护状态,Pod也会被驱逐。

小结:自主式Pod不会自我修复,创建后就会被集群使用,直到(故障、删除)生命周期结束

#创建pod
kubectl run pod-monor01 --image=nginx --port=80
#查看pod
kubectl get pod
#删除pod
kubectl delete pod pod-monor01
#再次查看,不会自动创建
kubectl get pod

●控制器管理的Pod

Kubernetes使用更高级的称为Controller的抽象层,来管理Pod实例。Controller可以创建和管理多个Pod,提供副本管理、滚动升级和集群级别的自愈能力。例如,如果一个Node故障,Controller就能自动将该节点上的Pod调度到其他健康的Node上。虽然可以直接使用Pod,但是在Kubernetes中通常是使用Controller来管理Pod的。

#基于控制器创建两个pod实例
kubectl create deployment pod-monor02 --image=nginx --port=80 --replicas=2
#查看
kubectl get pod

#删除其中一个
kubectl delete pod pod-monor02-7c9ff894b4-cssct
#再次查看会发现,又在重新创建pod,来满足控制器的两个实例
kubectl get pod
#此时只能通过删除副本控制器才能删除这些pod
kubectl delete deployment pod-monor02

Pod容器的分类:

1、基础容器(infrastructure container)

Pause 是基础容器,并通过Pause 容器管理其他容器,来维护整个 Pod 网络和存储空间
//node 节点中操作

//启动一个Pod时,k8s会自动启动一个Pause基础容器

cat /opt/kubernetes/cfg/kubelet
......
--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"

//每次创建 Pod 时候,运行的每一个Pod都有一个 pause-amd64 的基础容器会自动运行,对于用户是透明的

docker ps -a
registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0   "/pause"

2、初始化容器(initcontainers)

Pod 中所有容器共享网络和存储空间

//Init容器必须在应用程序容器启动之前运行完成,而应用程序容器是并行运行的,所以Init容器能够提供了一种简单的阻塞或延迟应用容器的启动的方法。

Init 容器与普通的容器非常像,除了以下两点:

●Init 容器总是运行到成功完成为止

●每个 Init 容器都必须在下一个 Init 容器启动之前成功完成启动和退出
如果 Pod 的 Init 容器失败,k8s 会不断地重启该 Pod,直到 Init 容器成功为止。然而,如果 Pod 对应的重启策略(restartPolicy)为 Never,它不会重新启动。

Init 的容器作用

因为init容器具有与应用容器分离的单独镜像,其启动相关代码具有如下优势:

●Init 容器可以包含一些安装过程中应用容器中不存在的实用工具或个性化代码。例如,没有必要仅为了在安装过程中使用类似 sed、 awk、 python 或 dig 这样的工具而去FROM 一个镜像来生成一个新的镜像。

●Init 容器可以安全地运行这些工具,避免这些工具导致应用镜像的安全性降低。

●应用镜像的创建者和部署者可以各自独立工作,而没有必要联合构建一个单独的应用镜像。

●Init 容器能以不同于Pod内应用容器的文件系统视图运行。因此,Init容器可具有访问 Secrets 的权限,而应用容器不能够访问

Secrets 是 Kubernetes 中用来存储和管理敏感数据的一种资源类型;

用来存储敏感数据,例如密码、API 密钥、证书等的对象

Init 容器可以在启动时从Secrets 获取必要的敏感信息,然后将处理后的数据传递给应用容器,确保应用容器无法直接访问敏感数据,有助于增强安全性

●由于 Init 容器必须在应用容器启动之前运行完成,因此 Init 容器提供了一种机制来阻塞或延迟应用容器的启动,直到满足了一组先决条件。一旦前置条件满足,Pod内的所有的应用容器会并行启动。

通过使用 Init 容器,可以实现一些场景;

比如在应用容器启动之前进行数据库初始化、加载配置文件、执行安全性检查等操作。

通过init执行初始化任务,来阻塞或延迟应用容器的启动

Init 容器可以阻塞或延迟应用容器的启动,直到初始化任务完成,从而确保应用容器在启动时处于一个可预测和稳定的状态

3、应用容器(Maincontainer)

应用容器提供应用程序业务;

应用容器是在所有init容器都成功的完成启动退出后才会启动;

如果Pod定义了多个应用容器,它们是并行启动的

#在mnt下创建demo文件夹,方便管理
mkdir /mnt/demo/
 
cd /mnt/demo/

官方示例

https://kubernetes.io/zh-cn/docs/concepts/workloads/pods/init-containers/

这个例子定义了两个 Init容器 。 第一个等待 myservice 启动, 第二个等待 mydb 启动。 一旦这两个 Init容器都启动完成,Pod 将启动 spec 中的应用容器

vim /opt/demo/demo1.yaml

apiVersion: v1
kind: Pod
metadata:
  name: myapp-pod
  labels:
    app: MyApp
spec:
  containers:
  - name: myapp-container
    image: busybox:1.28
    command: ['sh', '-c', 'echo The app is running! && sleep 3600']
  initContainers:
  - name: init-myservice
    image: busybox:1.28    command: ['sh', '-c', "until nslookup myservice; do echo waiting for myservice; sleep 2; done"]
  - name: init-mydb
    image: busybox:1.28
    command: ['sh', '-c', "until nslookup mydb; do echo waiting for mydb; sleep 2; done"]

YAML 配置的解析:

  • initContainers: 这是一个 Pod 中的字段,用于定义一组 Init 容器,这些容器将在主应用容器启动之前按顺序执行。

  • name: init-myservice 和 name: init-mydb: 这两行指定了每个 Init 容器的名称,分别为 init-myservice 和 init-mydb

  • image: busybox:1.28: 这指定了 Init 容器所使用的镜像,这里使用的是 BusyBox 镜像的版本 1.28。BusyBox 是一个集成了许多常用 Unix 工具的轻量级镜像。

  • command: 这指定了 Init 容器要执行的命令。在这里,使用了 sh -c 来执行一个 shell 命令,该命令使用 nslookup 命令来查找特定的服务名称(myservice 和 mydb)并等待其解析成功。命令中使用了 $(cat /var/run/secrets/kubernetes.io/serviceaccount/namespace) 来获取 Pod 所在的命名空间,以构建完整的服务名称。

  • until nslookup ...; do echo ...; sleep 2; done: 这部分命令是一个循环结构,会持续执行 nslookup 命令直到服务名解析成功。在循环中,如果解析失败,会输出 "waiting for ..." 的信息并等待 2 秒后再次尝试。

三、init 初始化容器启动

#构建资源
kubectl apply -f /opt/demo/demo1.yaml
#过滤查看资源
kubectl get pods | grep myapp

发现:

目前的init状态是0/2,我们排查错误问题,可以去查看pod的相关信息

解决问题

查看pod的信息和日志

#查看pod的详细信息
kubectl describe pod myapp-pod

#查看pod的日志
kubectl logs myapp-pod -c init-myservice

查看Coredns 是否正常
#查看Coredns运行状态
kubectl get pod -n kube-system

#查看Service是否正常
kubectl get svc

发现没有init的service,需要自定义创建一个

创建myservice 和 mydb 的service服务

myservice——编写demo2.yaml文件
vim /opt/demo/demo1.yaml

#在末尾添加
---
apiVersion: v1
kind: Service
metadata:
  name: myservice
spec:
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
  selector:
    name: monor
#创建资源
kubectl apply -f /opt/demo/demo2.yaml

#查看资源
kubectl get svc
kubectl get pods | grep myapp

再次查看pod的详细信息和日志
kubectl describe pod myapp-pod

kubectl logs myapp-pod -c init-mydb

mydb——编写demo3.yaml文件
cp /opt/demo/demo2.yaml /opt/demo/demo3.yaml

vim /opt/demo/demo3.yaml
apiVersion: v1
kind: Service
metadata:
  name: mydb
spec:
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
  selector:
    name: monor
#创建资源并查看
kubectl apply -f /opt/demo/demo3.yaml

kubectl get pods,svc | grep myapp

先运行init初始化容器,init初始化容器成功后,应用容器就启动成功了

init容器无论写哪里,都会先执行初始化容器,init容器按写的上下顺序执行

边车容器

边车容器与主应用容器在同一个 Pod 中运行,共享相同的生命周期和资源,并且可以共享相同的网络和存储空间。

这种设计模式使得边车容器可以与主应用容器之间进行通信,并且可以共享数据或资源;实现在同一个Pod中运行多个容器

可用于:

        日志收集器:边车容器可以负责收集、处理和发送日志,以便对主应用容器的日志进行集中管理和分析。

        监控代理:边车容器可以负责收集应用程序的监控数据,并将其发送到监控系统,以便监控应用程序的健康状况。

        安全代理:边车容器可以负责处理安全相关的任务,例如加密、解密、认证或授权,以增强应用程序的安全性。

        配置注入器:边车容器可以负责动态注入配置文件或环境变量到主应用容器中,以便实现应用程序的配置管理。

关于Pod容器的启动说明:

●在Pod启动过程中,Init容器会按顺序在网络和数据卷初始化之后启动。每个容器必须在下一个容器启动之前成功退出。
●如果由于运行时或失败退出,将导致容器启动失败,它会根据Pod的restartPolicy指定的策略进行重试。然而,如果Pod的restartPolicy设置为Always,Init容器失败时会使用RestartPolicy策略。
●在所有的Init容器没有成功之前,Pod将不会变成Ready状态。Init容器的端口将不会在Service中进行聚集。正在初始化中的Pod处于Pending状态,但应该会将Initializing状态设置为true。
●如果Pod重启,所有Init容器必须重新执行。
●对Init容器spec的修改被限制在容器image字段,修改其他字段都不会生效。更改Init容器的image字段,等价于重启该Pod。
●Init容器具有应用容器的所有字段。除了readinessProbe,因为Init容器无法定义不同于完成(completion)的就绪(readiness)之外的其他状态。这会在验证过程中强制执行。
●在Pod中的每个app和Init容器的名称必须唯一;与任何其它容器共享同一个名称,会在验证时抛出错误。

Pod容器分类汇总

pause容器(基础容器/父容器/根容器):
给Pod容器组做环境初始化,具体功能见上
pause容器是Pod最先启动的容器

init容器(初始化容器/init container):
可以在应用容器启动前,为应用容器提供运行依赖环境或工具包;还可以阻塞或延迟应用容器的启动
init容器是在pause容器之后启动的;如果Pod定义了多个init容器,它们是串行启动的,即要在上一个init容器成功的完成启动退出后才会启动下一个init容器

应用容器(业务容器/main container):
提供应用程序业务
应用容器是在所有init容器都成功的完成启动退出后才会启动;如果Pod定义了多个应用容器,它们是并行启动的

四、镜像拉取策略(image PullPolicy):

Pod 的核心是运行容器,必须指定容器引擎;比如 Docker,启动容器时,需要拉取镜像,k8s 的镜像拉取策略可以由用户指定(三种):

1、IfNotPresent:在镜像已经存在的情况下,kubelet 将不再去拉取镜像,仅当本地缺失时才从仓库中拉取,默认的镜像拉取策略
2、Always:每次创建 Pod 都会重新拉取一次镜像;
3、Never:Pod 不会主动拉取这个镜像,仅使用本地镜像。

注意:对于标签为“:latest”的镜像文件,其默认的镜像获取策略即为“Always”;而对于其他标签的镜像,其默认策略则为“IfNotPresent”。

nginx:latest

注意:

image nginx:latest或nginx 镜像的标签为latest或者无标签时,默认拉取镜像策略为always

nginx:1.18 镜像的标签为非latest时,默认的镜像为获取策略为IfNotPresent

官方示例:

https://kubernetes.io/docs/concepts/containers/images

配置Always

mkdir /opt/cq

#编写yaml文件
vim /opt/cq/demo1.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod-test1
spec:
  containers:
    - name: nginx
      image: nginx
      imagePullPolicy: Always
      command: ["echo", "SUCCESS"]
#创建资源
kubectl apply -f /opt/cq/demo1.yaml

#过滤查看pod的状态
kubectl get pod | grep pod-test

#查看pod的详细描述
kubectl describe pod pod-test1

默认会拉取nginx镜像,进行重启策略设置为Always,会一直重启;

此时Pod 的状态异常,原因是 echo 执行完成后进程结束,容器生命周期也结束了

查看pod-test1的详细描述

可以发现 Pod 中的容器在生命周期结束后,由于 Pod 的重启策略默认为 Always,容器再次重启了,并且又重新开始拉取镜像

配置IfNotPresent

注意:

image nginx:latest或nginx 镜像的标签为latest或者无标签时,默认拉取镜像策略为always

nginx:1.18 镜像的标签为非latest时,默认的镜像为获取策略为IfNotPresent

vim /opt/cq/demo1.yaml

apiVersion: v1
kind: Pod
metadata:
  name: pod-test2
spec:
  containers:
  - name: nginx
    image: nginx:1.18
#    imagePullPolicy: Always
    command: ["echo", "SUCCESS"]


kubectl apply -f /opt/cq/demo1.yaml

kubectl get pod | grep pod-test

IfNotPresent 是默认的镜像获取策略

表示当如果本地已经存在该镜像的副本,容器将使用本地镜像;当本地不存在时,才会从远程仓库中拉取更新的镜像

配置Nerver

设置镜像版本:nginx:1.20

imagePullPolicy:Never

vim /opt/cq/demo1.yaml 

apiVersion: v1
kind: Pod
metadata:
  name: pod-test3
spec:
  containers:
  - name: nginx
    image: nginx:1.20
    imagePullPolicy: Never
    command: ["echo", "SUCCESS"]


kubectl apply -f /opt/cq/demo1.yaml

kubectl get pod | grep pod-test

拉取策略为Never,会默认拉取本地的镜像,由于本地没有Ninx:1.20镜像,所以pod启动失败

五、重启策略(restartPolicy)

当 Pod 中的容器退出时通过节点上的 kubelet 重启容器。适用于 Pod 中的所有容器。

Always:当Pod容器退出时总是重启容器,无论容器退出状态码如何。是默认的容器重启策略
OnFailure:当容器异常退出(退出状态码非0)时,重启容器;正常退出则不重启容器
Never:当Pod容器退出时,总是不重启容器,无论容器退出状态码如何

注意:k8s 中不支持重启Pod 资源,只有删除重建

配置Always

查看Pod状态,等容器启动后30秒后执行exit退出进程进入error状态,就会重启次数加1

vim /opt/cq/demo2.yaml 

apiVersion: v1
kind: Pod
metadata:
  name: foo-test
spec:
  containers:
  - name: busybox
    image: busybox
    args:
    - /bin/sh
    - -c
    #pod创建完成,30秒后会exit退出容器;然后重新开始拉取镜像创建pod
    - sleep 30;
#创建资源
kubectl apply -f /opt/cq/demo2.yaml

#查看pod
kubectl get pod

总是重启,无论正常退出还是异常退出 都会重启容器

查看重启策略
kubectl get pod foo-test -oyaml | grep -i restart

配置OnFailure

OnFailure模式会按要求进行退出,容器异常退出重启,正常退出的话,则不重启

OnFailure 异常退出
#删除
kubectl delete -f /opt/cq/demo2.yaml
#编辑yaml
vim /opt/cq/demo2.yaml

apiVersion: v1
kind: Pod
metadata:
  name: foo-test2
spec:
  containers:
  - name: busybox
    image: busybox
    args:
    - /bin/sh
    - -c
    #等待30秒后以状态3退出;exit 3:模拟异常退出,测试容器重启策略
    - sleep 30; exit 3
  #定义重启策略;OnFailure 当容器异常退出时会重启
  restartPolicy: OnFailure
#动态监测pod状态
kubectl get pod -w

#退出
exit

#过滤查看重启策略
kubectl get pod foo-test2 -oyaml | grep -i restart

验证正常退出,不重启

容器正常退出,OnFailure 策略不会重启容器

vim /opt/cq/demo2.yaml

apiVersion: v1
kind: Pod
metadata:
  name: foo-test2
spec:
  containers:
  - name: busybox
    image: busybox
    args:
    - /bin/sh
    - -c
    #10秒后(正常)退出
    - sleep 10;
  restartPolicy: OnFailure

kubectl delete -f /opt/cq/demo2.yaml

kubectl apply -f /opt/cq/demo2.yaml

kubectl get pod -w

配置Never

异常退出时不会重启

kubectl delete -f /opt/cq/demo2.yaml

vim /opt/cq/demo2.yaml

apiVersion: v1
kind: Pod
metadata:
  name: foo-test3
spec:
  containers:
  - name: busybox
    image: busybox
    args:
    - /bin/sh
    - -c
    #模拟异常退出
    - sleep 10; exit 3
  #设置重启策略
  restartPolicy: Never
kubectl apply -f /opt/cq/demo2.yaml

#动态监测
kubectl get pod -w
kubectl get pod

#查看重启策略
kubectl get pod foo-test3 -oyaml | grep -i restart

验证正常退出也不重启
kubectl delete -f /opt/cq/demo2.yaml

vim /opt/cq/demo2.yaml

kubectl apply -f /opt/cq/demo2.yaml

kubectl get pod -w

kubectl get pod

总结

Pod 是k8s 最小的创建和运行单元,

一个pod 可以包含一个或多个容器(一个或多个应用/业务容器:淘宝、京东,pdd后台),

Pause 是一个基础容器,也叫根容器/父容器

Pod 里的容器共享 network、uts、ipc、user、mount 等命名空间

k8s Pod 分为两种

自主式/静态pod:

不被控制器管理的pod,没有自愈能力;

当pod 挂掉后,不会被重新拉取,而且副本数量不会因为达不到期望值而创建新的pod;

数据保存在节点上,自主式pod挂了后,直接结束生命周期

控制器管理的pod:

被控制器管理的pod,有自愈能力;

一旦pod挂掉,会被重新拉起,而且副本数量会因为达不到预期值而创建新的pod;

也就是说,当pod出现问题(故障、删除等)会自动重新拉起新的pod,来使副本数量达到预期值

pod的组成:三种容器

Pause容器

给pod中的所有容器提供网络(共享IP)和存储(共享存储)

资源的共享:作为PID=1的进程(init进程),管理所在pod容器组的生命周期

初始化容器(init)

阻塞或者延迟应用容器的启动,可以为应用容器事先提供好运行环境和工具

多个init 容器时,是串行启动的,每个init容器都必须在下一个init容器启动之前完成启动和退出

应用容器(main)

在所有init 容器启动和退出后,应用容器才会启动,并行启动的,提供应用的程序业务

当主程序挂掉后,容器就会结束生命周期

镜像拉取策略(imagePullPolicy)三种

IfNotPresent:优先使用本地已存在的镜像,如本地没有则会从仓库去拉取镜像

Always:总是从仓库拉取镜像,无论本地是否已经存在镜像

Never:总是不从仓库拉取镜像,仅使用本地镜像

注意:

image    nginx:latest 或 nginx 镜像的标签为latest 或者无标签时,默认的拉取镜像策略为always

              nginx:1.14 镜像的标签为非latest时,默认的镜像拉取策略为IfNotPresent

Pod 容器重启策略(restartPolicy)

三种,跟container字段在同一层

Always 容器退出时总是重启容器,不管返回的状态码如何,是Pod容器默认的重启策略

OnFalure 仅在容器异常退出时(返回状态码为非0时)会重启策略

Never 容器退出时从不重启容器,不管返回状态码,都不会重启

查看重启策略

kubectl get pod foo-test -oyaml | grep -i restart

k8s 中如何查看命名空间test 中的pod 的IP?

kubectl get pods -n test -o wide

k8s 中pod无法启动怎么排查原因?

#查看详细描述
kubectl describe pod
#查看日志
kubectl logs

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值