k8s的pod资源管理与配置使用凭证的harbor仓库

最新推荐文章于 2023-05-23 10:07:47 发布

YJ Thoreau

最新推荐文章于 2023-05-23 10:07:47 发布

阅读量501

点赞数

分类专栏： Docker技术集群与应用文章标签：运维

本文链接：https://blog.csdn.net/qq_44135433/article/details/121373010

版权

Docker技术集群与应用专栏收录该内容

29 篇文章 2 订阅

订阅专栏

文章目录

一： Pod 的基础概念
二： Pod容器分类
三：镜像拉取策略（image PullPolicy）
四 Pod的重启策略
总结
五：部署harbor 创建私有项目，使用凭证登录

一： Pod 的基础概念

1.1 pod 是什么

Pod是kubernetes中最小的资源管理组件，Pod也是最小化运行容器化应用的资源对象。

一个Pod代表着集群中运行的一个进程。

kubernetes中其他大多数组件都是围绕着Pod来进行支撑和扩展Pod功能的，例如，用于管理Pod运行的StatefulSet和Deployment等控制器对象，用于暴露Pod应用的Service和Ingress对象，为Pod提供存储的PersistentVolume存储资源对象等。

1.2 pod 的两种使用（运行方式）

一个Pod中运行一个容器。
- 每个Pod中一个容器”的模式是最常见的用法；
- 在这种使用方式中，你可以把Pod想象成是单个容器的封装，kuberentes管理的是Pod而不是直接管理容器。
在一个Pod中同时运行多个容器。
- 一个Pod中也可以同时封装几个需要紧密耦合互相协作的容器，它们之间共享资源。
- 这些在同一个Pod中的容器可以互相协作成为一个service单位，比如一个容器共享文件，另一个“sidecar”容器来更新这些文件。Pod将这些容器的存储资源作为一个实体来管理。

1.3 工作方式

一个Pod下的容器必须运行于同一节点上。现代容器技术建议一个容器只运行一个进程，该进程在容器中PID命令空间中的进程号为1，可直接接收并处理信号，进程终止时容器生命周期也就结束了。

若想在容器内运行多个进程，需要有一个类似Linux操作系统init进程的管控类进程，以树状结构完成多进程的生命周期管理。

运行于各自容器内的进程无法直接完成网络通信，这是由于容器间的隔离机制导致，k8s中的Pod资源抽象正是解决此类问题，Pod对象是一组容器的集合，这些容器共享Network、UTS及IPC命令空间，因此具有相同的域名、主机名和网络接口，并可通过IPC直接通信。

1.4 pause 容器的功能

1.4.1 提供pid命名空间，作为pid等于1的init进程

Pod资源中针对各容器提供网络命令空间等共享机制的是底层基础容器pause，基础容器（也可称为父容器）pause就是为了管理Pod容器间的共享操作，这个父容器需要能够准确地知道如何去创建共享运行环境的容器，还能管理这些容器的生命周期。为了实现这个父容器的构想，kubernetes中，用pause容器来作为一个Pod中所有容器的父容器。

pause容器有两个核心的功能，一是它提供整个Pod的Linux命名空间的基础。二来启用PID命名空间，它在每个Pod中都作为PID为1进程（init进程），并回收僵尸进程。

1.4.2 pause容器使得Pod中的所有容器可以共享网络和存储资源。

网络
- 每个Pod都会被分配一个唯一的IP地址。
- Pod中的所有容器共享网络空间，包括IP地址和端口。Pod内部的容器可以使用localhost互相通信。Pod中的容器与外界通信时，必须分配共享网络资源（例如使用宿主机的端口映射）。
存储：
- 可以Pod指定多个共享的Volume。Pod中的所有容器都可以访问共享的Volume。
- Volume也可以用来持久化Pod中的存储资源，以防容器重启后文件丢失

1.5 Kubernetes设计这样的Pod概念和特殊组成结构有什么用意

原因一:在一组容器作为一个单元的情况下，难以对整体的容器简单地进行判断及有效地进行行动。比如，一个容器死亡了，此时是算整体挂了么？那么引入与业务无关的Pause容器作为Pod的基础容器，以它的状态代表着整个容器组的状态，这样就可以解决该问题。

原因二：Pod里的多个应用容器共享Pause容器的IP，共享Pause容器挂载的Volume，这样简化了应用容器之间的通信问题，也解决了容器之间的文件共享问题。

1.6 pod 的分类

自主式Pod
这种Pod本身是不能自我修复的，当Pod被创建后（不论是由你直接创建还是被其他Controller），都会被Kuberentes调度到集群的Node上。直到Pod的进程终止、被删掉、因为缺少资源而被驱逐、或者Node故障之前这个Pod都会一直保持在那个Node上。Pod不会自愈。如果Pod运行的Node故障，或者是调度器本身故障，这个Pod就会被删除。同样的，如果Pod所在Node缺少资源或者Pod处于维护状态，Pod也会被驱逐。
控制器管理的Pod
Kubernetes使用更高级的称为Controller的抽象层，来管理Pod实例。Controller可以创建和管理多个Pod，提供副本管理、滚动升级和集群级别的自愈能力。例如，如果一个Node故障，Controller就能自动将该节点上的Pod调度到其他健康的Node上。虽然可以直接使用Pod，但是在Kubernetes中通常是使用Controller来管理Pod的。

二： Pod容器分类

2.1 基础容器（infrastructure container）

维护整个 Pod 网络和存储空间

启动一个容器时，k8s会自动启动一个基础容器

每次创建 Pod 时候就会创建，运行的每一个容器都有一个 pause-amd64 的基础容器自动会运行，对于用户是透明的

#在mster上创建pod
[root@master ~]# kubectl create deployment nginx-demo1 --image=nginx:1.14

#查看pod 被调度在哪个node节点上
[root@master ~]# kubectl get pod nginx-demo1-7bf84576d8-nhv9n  -o wide 

#在node01节点上，查看容器，发现自动创建了pause容器
[root@node01 ~]# docker ps  | grep nginx-demo1

2.2 初始化容器（init 容器）initcontainers

Init容器必须在应用程序容器启动之前运行完成，而应用程序容器是并行运行的，所以Init容器能够提供了一种简单的阻塞或延迟应用容器的启动的方法。

2.2.1 init 容器与普通容器的区别

Init 容器与普通的容器非常像，除了以下两点：

Init 容器总是运行到成功完成为止
每个 Init 容器都必须在下一个 Init 容器启动之前成功完成启动和退出
如果 Pod 的 Init 容器失败，k8s 会不断地重启该 Pod，直到 Init 容器成功为止。然而，如果 Pod 对应的重启策略（restartPolicy）为 Never，它不会重新启动。

2.2.2 Init 容器的作用

因为init容器具有与应用容器分离的单独镜像，其启动相关代码具有如下优势：

Init 容器可以包含一些安装过程中应用容器中不存在的实用工具或个性化代码。例如，没有必要仅为了在安装过程中使用类似 sed、 awk、 python 或 dig 这样的工具而去FROM 一个镜像来生成一个新的镜像。
Init 容器可以安全地运行这些工具，避免这些工具导致应用镜像的安全性降低。
应用镜像的创建者和部署者可以各自独立工作，而没有必要联合构建一个单独的应用镜像。
Init 容器能以不同于Pod内应用容器的文件系统视图运行。因此，Init容器可具有访问 Secrets 的权限，而应用容器不能够访问。
由于 Init 容器必须在应用容器启动之前运行完成，因此 Init 容器提供了一种机制来阻塞或延迟应用容器的启动，直到满足了一组先决条件。一旦前置条件满足，Pod内的所有的应用容器会并行启动。

2.3 应用容器(业务容器你) （Maincontainer）

平时最常使用的容器
并行启动

2.4 示例

官网示例：https://kubernetes.io/docs/concepts/workloads/pods/init-containers/

2.4.1 声明式启动应用容器

这个例子是定义了一个具有 2 个 Init 容器的简单 Pod。第一个等待 myservice 启动，第二个等待 mydb 启动。一旦这两个 Init容器都启动完成，Pod 将启动 spec 中的应用容器。

[root@master ~]# vim demo1.yaml

apiVersion: v1
kind: Pod
metadata:
  name: myapp-pod
  labels:
    app: myapp
spec:
  containers:
  - name: myapp-container
    image: busybox:1.28
    command: ['sh', '-c', 'echo The app is running! && sleep 3600']
  initContainers:
  - name: init-myservice
    image: busybox:1.28
    command: ['sh', '-c', 'until nslookup myservice; do echo waiting for myservice; sleep 2; done;']
  - name: init-mydb
    image: busybox:1.28
    command: ['sh', '-c', 'until nslookup mydb; do echo waiting for mydb; sleep 2; done;']

#声明式启动
kubectl create -f demo1.yaml

2.4.2 查看信息

kubectl get  all

#查看容器的详细信息
kubectl describe pod myapp-pod

#查看日志
kubectl logs myapp-pod -c init-myservice

2.4.3 创建启动myservice，查看日志

[root@master ~]#vim myservice.yaml
apiVersion: v1
kind: Service
metadata:
#注意，name定义的名字需要是myservice
  name: myservice
spec:
  ports:
  - protocol: TCP
    port: 80
    targetPort: 9376

kubectl create -f myservice.yaml

[root@master ~]# kubectl  get svc
1NAME               TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
myservice          ClusterIP   10.1.49.69     <none>        80/TCP           4s


[root@master ~]# kubectl get pods
NAME                           READY   STATUS     RESTARTS   AGE
myapp-pod                      0/1     Init:1/2   0          15m

2.4.4查看容器mydb日志

#查看容器init-mydb日志
kubectl logs myapp-pod -c init-mydb

2.4.5 创建启动容器mydb，查看应用容器的状态

[root@master ~]# vim mydb.yaml
apiVersion: v1
kind: Service
metadata:
#name字段，值需要是mydb
  name: mydb
spec:
  ports:
  - protocol: TCP
    port: 80
    targetPort: 9377

[root@master ~]#kubectl create -f mydb.yaml

[root@master ~]# kubectl get pods 
NAME                           READY   STATUS    RESTARTS   AGE
myapp-pod                      1/1     Running   0          23m

2.5 特别说明

在Pod启动过程中，Init容器会按顺序在网络和数据卷初始化之后启动。每个容器必须在下一个容器启动之前成功退出。
如果由于运行时或失败退出，将导致容器启动失败，它会根据Pod的restartPolicy指定的策略进行重试。然而，如果Pod的restartPolicy设置为Always，Init容器失败时会使用RestartPolicy策略。
在所有的Init容器没有成功之前，Pod将不会变成Ready状态。Init容器的端口将不会在Service中进行聚集。正在初始化中的Pod处于Pending状态，但应该会将Initializing状态设置为true。
如果Pod重启，所有Init容器必须重新执行。
对Init容器spec的修改被限制在容器image字段，修改其他字段都不会生效。更改Init容器的image字段，等价于重启该Pod。
Init容器具有应用容器的所有字段。除了readinessProbe，因为Init容器无法定义不同于完成（completion）的就绪（readiness）之外的其他状态。这会在验证过程中强制执行。
在Pod中的每个app和Init容器的名称必须唯一；与任何其它容器共享同一个名称，会在验证时抛出错误。

三：镜像拉取策略（image PullPolicy）

3.1 镜像拉取策略

Pod 的核心是运行容器，必须指定容器引擎，比如 Docker，启动容器时，需要拉取镜像，k8s 的镜像拉取策略可以由用户指定：

IfNotPresent：在镜像已经存在的情况下，kubelet 将不再去拉取镜像，仅当本地缺失时才从仓库中拉取，默认的镜像拉取策略
Always：每次创建 Pod 都会重新拉取一次镜像；
Never：Pod 不会主动拉取这个镜像，仅使用本地镜像

注意：对于标签为“:latest”的镜像文件，或者无标签的镜像文件，其默认的镜像获取策略即为“Always”；而对于其他标签的镜像，其默认策略则为“IfNotPresent”。

3.2 示例

官方示例：
https://kubernetes.io/docs/concepts/containers/images

3.2.1 创建测试案例

[root@master ~]# vim pod1.yaml
#当kind： 的值为Pod，则表示创建自主式pod
apiVersion: v1
kind: Pod
metadata:
  name: pod-test1
spec:
  containers:
    - name: nginx
      image: nginx
      imagePullPolicy: Always
      #command字段可以定义容器启动后的第一个命令
      command: [ "echo", "SUCCESS" ]

kubectl create -f pod1.yaml

kubectl get pods -o wide
pod-test1                         0/1     CrashLoopBackOff   2          2m17s

#此时 Pod 的状态异常，原因是 echo 执行完进程终止，容器生命周期也就结束了

3.2.2 更新资源

#修改pod1.yaml文件
[root@master ~]#vim pod1.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod-test1
spec:
  containers:
    - name: nginx
    #修改 nginx 镜像版本,指定标签
      image: nginx:1.14				
      #注释镜像拉取策略
      #imagePullPolicy: Always
      #command: [ "echo", "SUCCESS" ]			#删除

#删除原有的资源
kubectl delete -f pod1.yaml

#更新资源
kubectl apply -f pod1.yaml

[root@master ~]# kubectl get pods -o wide
NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE     NOMINATED NODE   READINESS GATES
myapp-pod                      1/1     Running   0          61m   10.244.2.47   node02   <none>           <none>
nginx-demo1-7bf84576d8-nhv9n   1/1     Running   0          96m   10.244.1.61   node01   <none>           <none>
pod-test1                      1/1     Running   0          35s   10.244.1.65   node01   <none>           <none>

#使用edit 在线修改，查看资源配置
[root@master ~]# kubectl edit pod pod-test1

四 Pod的重启策略

4.1 pod 的重启策略

重启策略(restartPolicy) : Pod在遇到故障之后重启的动作

Always:当容器终止退出后,总是重启容器,默认策略
OnFailure:当容器异常退出(退出状态码非0)时,重启容器;正常退出则不重启容器
Never:当容器终止退出,从不重启容器。
注意: K8s中不支持重启Pod资源,只有删除重建

4.2 示例

4.2.1 创建启动一个pod，查看状态

[root@master ~]# vim pod3.yaml
apiVersion: v1
kind: Pod
metadata:
  name: foo
spec:
  containers:
  - name: busybox
    image: busybox
    args:
    - /bin/sh
    - -c
    - sleep 20; exit 3

#创建pod
kubectl apply -f pod3.yaml

#查看pod状态
kubectl get pods

4.2.2 修改yaml 文件，设置重启策略为Never

[root@master ~]# vim pod3.yaml
apiVersion: v1
kind: Pod
metadata:
  name: foo
spec:
  containers:
  - name: busybox
    image: busybox
    args:
    - /bin/sh
    - -c
    - sleep 20; exit 3
  #设置重启策略为从不
  restartPolicy: Never

[root@master ~]# kubectl delete -f pod3.yaml

[root@master ~]# kubectl apply  -f pod3.yaml

#在74s后，即使过了 20s 也没有新的状态出现.因为重启策略是Never，所以，不会重启
[root@master ~]# kubectl get pods foo -w
NAME   READY   STATUS              RESTARTS   AGE
foo    0/1     ContainerCreating   0          40s
foo    1/1     Running             0          54s
foo    0/1     Error               0          74s


#新开一个终端查看状态
[root@master ~]# kubectl get pods foo 
NAME   READY   STATUS   RESTARTS   AGE
foo    0/1     Error    0          103s

总结

pod 的运行方式有两种：

自主式pod：没有自愈能力
控制器管理pod：有自愈能力（Pod被删除后会重新拉起新pod）

pod 中有 3 种容器：

基础容器（pause）：
- 初始化容器环境，开启pid=1的init进程来管理其他容器的生命周期
- 提供网络和存储空间的共享环境基础
init 容器
- 是在基础容器之后，应用容器之前运行的容器
- 多个容器是串行运行
- init 容器必须在上一init容器运行成功且退出后才会运行
应用容器（main c）
- 运行业务的容器
- 在init容器都成功运行和退出后运行的
- 多个应用容器是并行运行的

在一个pod 中，init 容器和应用容器的名称都是唯一的
pod 的镜像拉取策略 imagePullPolicy，配置在Containers字段的下面，是它的子字段

IfNotPresent
- 是带有指定标签的镜像的默认拉取测试。
- 本地有，则用本地镜像。本地没有则从仓库中拉取镜像
Always
- 是没有标签的镜像或者使用哦latest标签的镜像拉取策略
- 创建pod总是从仓库拉取镜像
Never
- 不从仓库拉取镜像，仅使用本地镜像

pod 重启策略 restartPolicy ，配置在containers字段同一层，和containers同属 spec的子字段

Always
- 默认的重启策略。
- 容器退出时总是重启容器
Never
- 容器退出，从不重启容器
OnFailure
- 只有容器异常退出（非0状态码退出）,才会重启容器

五：部署harbor 创建私有项目，使用凭证登录

5.1 在docker harbor 上（192.168.23.10）上环境准备

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce
systemctl start docker.service
systemctl enable docker.service
docker version

5.2 部署harbor

#上传 docker-compose 和 harbor-offline-installer-v1.2.2.tgz 到 /opt 目录中
cd /opt
chmod +x docker-compose
mv docker-compose /usr/local/bin/


#部署 Harbor 服务
tar zxvf harbor-offline-installer-v1.2.2.tgz -C /usr/local/

vim +5 /usr/local/harbor/harbor.cfg
--5行--修改，设置为Harbor服务器的IP地址或者域名
hostname = 192.168.23.10

cd /usr/local/harbor/
./install.sh

5.3 登录harbor，创建项目

/#在 Harbor 中创建一个新项目
（1）浏览器访问：http://192.168.23.10 登录 Harbor WEB UI 界面，默认的管理员用户名和密码是 admin/Harbor12345
（2）输入用户名和密码登录界面后可以创建一个新项目。点击“+项目”按钮
（3）填写项目名称为“kgc-project”，点击“确定”按钮，创建新项目

5.4 每个node节点登录harbor ，上传镜像

#在每个 node 节点配置连接私有仓库（注意每行后面的逗号要添加）
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
  "insecure-registries":["192.168.23.10"]
}
EOF

systemctl daemon-reload
systemctl restart docker



#在每个 node 节点登录 harbor 私有仓库
docker login -u admin -p harbor12345 http://192.168.23.10

#在一个 node 节点下载 Tomcat 镜像进行推送
docker pull tomcat:8.0.52
docker images

docker tag tomcat:8.0.52 192.168.23.10/kgc-project/tomcat:v1
docker images

docker push 192.168.23.10/kgc-project/tomcat:v1

5.5 配置凭据

#查看登陆凭据
#base64 -w 0：进行 base64 加密并禁止自动换行
cat /root/.docker/config.json | base64 -w 0			
ewoJImF1dGhzIjogewoJCSIxOTIuMTY4LjIzLjEwIjogewoJCQkiYXV0aCI6ICJZV1J0YVc0NlNHRnlZbTl5TVRJek5EVT0iCgkJfSwKCQkiaHViLmNvbSI6IHsKCQkJImF1dGgiOiAiWVdSdGFXNDZTR0Z5WW05eU1USXpORFU9IgoJCX0KCX0KfQ==

#master 节点上 创建 harbor 登录凭据资源清单
vim harbor-pull-secret.yaml
apiVersion: v1
kind: Secret
metadata:
  name: harbor-pull-secret
data:
  .dockerconfigjson: ewoJImF1dGhzIjogewoJCSIxOTIuMTY4LjIzLjEwIjogewoJCQkiYXV0aCI6ICJZV1J0YVc0NlNHRnlZbTl5TVRJek5EVT0iCgkJfSwKCQkiaHViLmNvbSI6IHsKCQkJImF1dGgiOiAiWVdSdGFXNDZTR0Z5WW05eU1USXpORFU9IgoJCX0KCX0KfQ==		#复制粘贴上述查看的登陆凭据
type: kubernetes.io/dockerconfigjson


#创建 secret 资源
kubectl create -f harbor-pull-secret.yaml

#查看 secret 资源
kubectl get secret



#创建资源从 harbor 中下载镜像
cd /opt/demo
vim tomcat-deployment.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: my-tomcat
spec:
  replicas: 2
  template:
    metadata:
      labels:
        app: my-tomcat
    spec:
      imagePullSecrets:						#添加拉取 secret 资源选项
      - name: harbor-pull-secret			#指定 secret 资源名称
      containers:
      - name: my-tomcat
        image: 192.168.80.30/kgc-project/tomcat:v1		#指定 harbor 中的镜像名
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: my-tomcat
spec:
  type: NodePort
  ports:
  - port: 8080
    targetPort: 8080
    nodePort: 31111
  selector:
    app: my-tomcat

#node节点删除之前在 node 节点下载的 Tomcat 镜像
docker rmi tomcat:8.0.52
docker rmi 192.168.23.10/kgc-project/tomcat:v1
docker images

#master 节点创建资源
kubectl create -f tomcat-deployment.yaml

kubectl get pods


#查看 Pod 的描述信息，可以发现镜像时从 harbor 下载的
kubectl describe pod my-tomcat-5487585446-d8j2h


#刷新 harbor 页面，可以看到镜像的下载次数增加了