Kubernetes部署练习

Kubernetes详细笔记

Kubernetes

一、Kubernetes介绍

https://kubernetes.io/

1.1、应用部署方式演变

在部署应用程序的方式上，主要经历了三个时代：

• 传统部署：互联网早期，会直接将应用程序部署在物理机上

  优点：简单，不需要其它技术的参与

  缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响

• 虚拟化部署：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境

  优点：程序环境不会相互产生影响，提供了一定程度的安全性

  缺点：增加了操作系统，浪费了部分资源

• 容器化部署：与虚拟化类似，但是共享了操作系统

  优点：

  可以保证每个容器拥有自己的文件系统、CPU、内存、进程空间等

  运行应用程序所需要的资源都被容器包装，并和底层基础架构解耦

  容器化的应用程序可以跨云服务商、跨Linux操作系统发行版进行部署

容器化部署方式给带来很多的便利，但是也会出现一些问题，比如说：

• 一个容器故障停机了，怎么样让另外一个容器立刻启动去替补停机的容器
• 当并发访问量变大的时候，怎么样做到横向扩展容器数量

这些容器管理的问题统称为容器编排问题，为了解决这些容器编排问题，就产生了一些容器编排的软件：

• Swarm：Docker自己的容器编排工具
• Mesos：Apache的一个资源统一管控的工具，需要和Marathon结合使用
• Kubernetes：Google开源的的容器编排工具

1.2、kubernetes简介

kubernetes，是一个全新的基于容器技术的分布式架构领先方案，是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第一个正式版本。

kubernetes的本质是一组服务器集群，它可以在集群的每个节点上运行特定的程序，来对节点中的容器进行管理。目的是实现资源管理的自动化，主要提供了如下的主要功能：

• 自我修复：一旦某一个容器崩溃，能够在1秒中左右迅速启动新的容器
• 弹性伸缩：可以根据需要，自动对集群中正在运行的容器数量进行调整
• 服务发现：服务可以通过自动发现的形式找到它所依赖的服务
• 负载均衡：如果一个服务起动了多个容器，能够自动实现请求的负载均衡
• 版本回退：如果发现新发布的程序版本有问题，可以立即回退到原来的版本
• 存储编排：可以根据容器自身的需求自动创建存储卷

1.3、kubernetes组件

一个kubernetes集群主要是由控制节点(master)、**工作节点(node)**构成，每个节点上都会安装不同的组件。

master：集群的控制平面，负责集群的决策 ( 管理 )

ApiServer : 资源操作的唯一入口，接收用户输入的命令，提供认证、授权、API注册和发现等机制

Scheduler : 负责集群资源调度，按照预定的调度策略将Pod调度到相应的node节点上

ControllerManager : 负责维护集群的状态，比如程序部署安排、故障检测、自动扩展、滚动更新等

Etcd ：负责存储集群中各种资源对象的信息

node：集群的数据平面，负责为容器提供运行环境 ( 干活 )

Kubelet : 负责维护容器的生命周期，即通过控制docker，来创建、更新、销毁容器

KubeProxy : 负责提供集群内部的服务发现和负载均衡

Docker : 负责节点上容器的各种操作

下面，以部署一个nginx服务来说明kubernetes系统各个组件调用关系：

1. 首先要明确，一旦kubernetes环境启动之后，master和node都会将自身的信息存储到etcd数据库中

2. 一个nginx服务的安装请求会首先被发送到master节点的apiServer组件

3. apiServer组件会调用scheduler组件来决定到底应该把这个服务安装到哪个node节点上

   在此时，它会从etcd中读取各个node节点的信息，然后按照一定的算法进行选择，并将结果告知apiServer

4. apiServer调用controller-manager去调度Node节点安装nginx服务

5. kubelet接收到指令后，会通知docker，然后由docker来启动一个nginx的pod

   pod是kubernetes的最小操作单元，容器必须跑在pod中至此，

6. 一个nginx服务就运行了，如果需要访问nginx，就需要通过kube-proxy来对pod产生访问的代理

这样，外界用户就可以访问集群中的nginx服务了

1.4、kubernetes概念

Master：集群控制节点，每个集群需要至少一个master节点负责集群的管控

Node：工作负载节点，由master分配容器到这些node工作节点上，然后node节点上的docker负责容器的运行

Pod：kubernetes的最小控制单元，容器都是运行在pod中的，一个pod中可以有1个或者多个容器

Controller：控制器，通过它来实现对pod的管理，比如启动pod、停止pod、伸缩pod的数量等等

Service：pod对外服务的统一入口，下面可以维护者同一类的多个pod

Label：标签，用于对pod进行分类，同一类pod会拥有相同的标签

NameSpace：命名空间，用来隔离pod的运行环境

二、集群环境搭建

2.1、环境规划

2.1.1、集群类型

kubernetes集群大体上分为两类：一主多从和多住多从

• 一主多从：一台master节点和多台node节点，搭建简单，但是有单机故障风险，适用于测试环境
• 多主多从：多台master节点和多台node节点，搭建麻烦，安全性高，适用于生产环境

2.1.2、安装方式

kubernets有多种部署方式，目前主流的方式有kubeadm、minikube、二进制包

• minikube：一个用于快速搭建单节点kubernetes的工具
• kubeadm：一个用于快速搭建kubernetes集群的工具
  • https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
• 二进制包：从官网下载每个组件的二进制包，依次去安装，此方式对于理解kubernetes组件更加有效
  • https://github.com/kubernetes/kubernetes

说明：现在需要安装kubernetes的集群环境，但是又不想过于麻烦，所有选择使用kubeadm方式

2.1.3、主机规划

角色	IP地址	组件
master	192.168.109.100	docker，kubectl，kubeadm，kubelet
node01	192.168.109.101	docker，kubectl，kubeadm，kubelet
node02	192.168.109.102	docker，kubectl，kubeadm，kubelet

2.2、环境搭建

​ 本次环境搭建需要安装三台linux系统（一主二从），内置Centos7.5系统，然后在每台liunx中分别安装docker(18.06.3)。kubeadm(1.17.4)，kubelet(1.17.4)，kubelet(1.17.4)。

2.2.1、主机安装

安装虚拟机过程中注意下面选项的设置:

• 操作系统环境:CPU (2C)内存(2G)硬盘(50G)

• 语言选择:中文简体

• 软件选择:基础设施服务器

• 分区选择:自动分区

• 网络配置:按照下面配置网路地址信息

  网络地址:192.168.109.108(每台主机都不一样惇分别为100、101、102)子网掩码:255.255.255.0默认网关：192.168.109.2DNS：223.5.5.5
      
      
      
  
      
      
      
  

• 主机名设置：按照下面信息设置主机名

  master节点：masternode节点：node1node节点：node2
      
      
      
  
      
      
      
  

2.2.2、环境初始化

1） 检查操作系统的版本

# 此方式下安装kubernetes集群要求Centos版本要在7.5或之上[root@master ~]# cat /etc/redhat-releaseCentos Linux 7.5.1804 (Core)
  
  
  

  
  
  

2 ）主机名解析

为了方便集群节点间的直接调用，在这个配置一下主机名解析，企业中推荐使用内部DNS服务器

# 主机名成解析 编辑三台服务器的/etc/hosts文件，添加下面内容192.168.90.100 master192.168.90.101 node1192.168.90.102 node2
  
  
  

  
  
  

3） 时间同步

kubernetes要求集群中的节点时间必须精确一致，这里使用chronyd服务从网络同步时间

企业中建议配置内部的时间同步服务器

# 启动chronyd服务[root@master ~]# systemctl start chronyd[root@master ~]# systemctl enable chronyd[root@master ~]# date
  
  
  

  
  
  

4） 禁用iptable和firewalld服务

kubernetes和docker 在运行的中会产生大量的iptables规则，为了不让系统规则跟它们混淆，直接关闭系统的规则

# 1 关闭firewalld服务[root@master ~]# systemctl stop firewalld[root@master ~]# systemctl disable firewalld# 2 关闭iptables服务[root@master ~]# systemctl stop iptables[root@master ~]# systemctl disable iptables
  
  
  

  
  
  

5） 禁用selinux

selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种各样的奇葩问题

# 编辑 /etc/selinux/config 文件，修改SELINUX的值为disable# 注意修改完毕之后需要重启linux服务SELINUX=disabled
  
  
  

  
  
  

6） 禁用swap分区

swap分区指的是虚拟内存分区，它的作用是物理内存使用完，之后将磁盘空间虚拟成内存来使用，启用swap设备会对系统的性能产生非常负面的影响，因此kubernetes要求每个节点都要禁用swap设备，但是如果因为某些原因确实不能关闭swap分区，就需要在集群安装过程中通过明确的参数进行配置说明

# 编辑分区配置文件/etc/fstab，注释掉swap分区一行# 注意修改完毕之后需要重启linux服务vim /etc/fstab注释掉 /dev/mapper/centos-swap swap# /dev/mapper/centos-swap swap
  
  
  

  
  
  

7） 修改linux的内核参数

# 修改linux的内核采纳数，添加网桥过滤和地址转发功能# 编辑/etc/sysctl.d/kubernetes.conf文件，添加如下配置：net.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1# 重新加载配置[root@master ~]# sysctl -p# 加载网桥过滤模块[root@master ~]# modprobe br_netfilter# 查看网桥过滤模块是否加载成功[root@master ~]# lsmod | grep br_netfilter
  
  
  

  
  
  

8 ）配置ipvs功能

在Kubernetes中Service有两种带来模型，一种是基于iptables的，一种是基于ipvs的两者比较的话，ipvs的性能明显要高一些，但是如果要使用它，需要手动载入ipvs模块

# 1.安装ipset和ipvsadm[root@master ~]# yum install ipset ipvsadm -y# 2.添加需要加载的模块写入脚本文件[root@master ~]# cat <<EOF> /etc/sysconfig/modules/ipvs.modules> #!/bin/bash> modprobe -- ip_vs> modprobe -- ip_vs_rr> modprobe -- ip_vs_wrr> modprobe -- ip_vs_sh> modprobe -- nf_conntrack_ipv4> EOF# 3.为脚本添加执行权限[root@master ~]# chmod +x /etc/sysconfig/modules/ipvs.modules# 4.执行脚本文件[root@master ~]# /bin/bash /etc/sysconfig/modules/ipvs.modules# 5.查看对应的模块是否加载成功[root@master ~]# lsmod | grep -e ip_vs -e nf_conntrack_ipv4
  
  
  

  
  
  

   
   
   
  
  
  
  
  
  

9）重启服务器

上面步骤完成之后，需要重新启动linux系统

reboot
  
  
  

  
  
  

2.2.3、安装docker

# 1、切换镜像源[root@master ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo# 2、查看当前镜像源中支持的docker版本[root@master ~]# yum list docker-ce --showduplicates# 3、安装特定版本的docker-ce# 必须制定--setopt=obsoletes=0，否则yum会自动安装更高版本[root@master ~]# yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y# 4、添加一个配置文件#Docker 在默认情况下使用Vgroup Driver为cgroupfs，而Kubernetes推荐使用systemd来替代cgroupfs[root@master ~]# mkdir /etc/docker[root@master ~]# cat <<EOF> /etc/docker/daemon.json> {> "exec-opts": ["native.cgroupdriver=systemd"],> "registry-mirrors": ["https://kn0t2bca.mirror.aliyuncs.com"]> }> EOF# 查看文件[root@master ~]# more /etc/docker/daemon.json# 5、启动dokcer[root@master ~]# systemctl restart docker[root@master ~]# systemctl enable docker
  
  
  

  
  
  

   
   
   
  
  
  
  
  
  

2.2.4、安装Kubernetes组件

# 1、由于kubernetes的镜像在国外，速度比较慢，这里切换成国内的镜像源# 2、编辑/etc/yum.repos.d/kubernetes.repo,添加下面的配置[root@master ~]# vim /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64enabled=1gpgchech=0repo_gpgcheck=0gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg			http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg# 3、安装kubeadm、kubelet和kubectl[root@master ~]# yum install --setopt=obsoletes=0 kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y# 4、配置kubelet的cgroup#编辑/etc/sysconfig/kubelet, 添加下面的配置[root@master ~]# vim /etc/sysconfig/kubeletKUBELET_CGROUP_ARGS="--cgroup-driver=systemd"KUBE_PROXY_MODE="ipvs"# 5、设置kubelet开机自启[root@master ~]# systemctl enable kubelet
  
  
  

  
  
  

   
   
   
  
  
  
  
  
  

2.2.5、准备集群镜像

# 在安装kubernetes集群之前，必须要提前准备好集群需要的镜像，所需镜像可以通过下面命令查看[root@master ~]# kubeadm config images list# 下载镜像# 此镜像在kubernetes的仓库中，由于网络原因，无法连接，下面提供了一种替换方案images=(	kube-apiserver:v1.17.4	kube-controller-manager:v1.17.4	kube-scheduler:v1.17.4	kube-proxy:v1.17.4	pause:3.1	etcd:3.4.3-0	coredns:1.6.5)for imageName in ${images[@]};do	docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName	docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName	docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName done
  
  
  

  
  
  

   
   
   
  
  
  
  
  
  

2.2.6、集群初始化

下面的操作只需要在master节点上执行即可

# 创建集群，注意将apiserver的ip地址换成自己的master地址[root@master ~]# kubeadm init \--kubernetes-version=v1.17.4 \	--pod-network-cidr=10.244.0.0/16 \	--service-cidr=10.96.0.0/12 \	--apiserver-advertise-address=192.168.199.137# 如果ip忘记改了，通过kubeadm reset 修改
  
  
  

  
  
  

# 创建必要文件[root@master ~]# mkdir -p $HOME/.kube[root@master ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config[root@master ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
  
  
  

  
  
  

下面的操作只需要在node节点上执行即可

kubeadm join 192.168.199.137:6443 --token 6tjed1.4tkjjcjzyghrpcee \    --discovery-token-ca-cert-hash sha256:96c1acff90f2021e05a2f5f84772b85a9ebd9028aecd4dab6649249f85e60124 
  
  
  

  
  
  

在master上查看节点信息

2.2.7、安装网络插件

kubernetes支持多种网络插件，比如flannel、calico、canal等等，任选一种使用即可，本次选择flannel

下面操作依旧只在master节点执行即可，插件使用的是DaemonSet的控制器，它会在每个节点上都运行

# 获取fannel的配置文件[root@master ~]# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml# 如果出现无法访问的情况，可以直接用下面的[root@master ~]# wget https://github.com/flannel-io/flannel/tree/master/Documentation/kube-flannel.yml# 修改文件中quay.io仓库为quay-mirror.qiniu.com# 使用配置文件启动fannel[root@master ~]# kubectl apply -f kube-flannel.yml# 再次查看集群节点的状态[root@master ~]# kubectl get nodes# 至此，kubernetes的集群环境搭建完成
  
  
  

  
  
  

kube-flannel.yml

---apiVersion: policy/v1beta1kind: PodSecurityPolicymetadata:  name: psp.flannel.unprivileged  annotations:    seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default    seccomp.security.alpha.kubernetes.io/defaultProfileName: docker/default    apparmor.security.beta.kubernetes.io/allowedProfileNames: runtime/default    apparmor.security.beta.kubernetes.io/defaultProfileName: runtime/defaultspec:  privileged: false  volumes:  - configMap  - secret  - emptyDir  - hostPath  allowedHostPaths:  - pathPrefix: "/etc/cni/net.d"  - pathPrefix: "/etc/kube-flannel"  - pathPrefix: "/run/flannel"  readOnlyRootFilesystem: false  # Users and groups  runAsUser:    rule: RunAsAny  supplementalGroups:    rule: RunAsAny  fsGroup:    rule: RunAsAny  # Privilege Escalation  allowPrivilegeEscalation: false  defaultAllowPrivilegeEscalation: false  # Capabilities  allowedCapabilities: ['NET_ADMIN', 'NET_RAW']  defaultAddCapabilities: []  requiredDropCapabilities: []  # Host namespaces  hostPID: false  hostIPC: false  hostNetwork: true  hostPorts:  - min: 0    max: 65535  # SELinux  seLinux:    # SELinux is unused in CaaSP    rule: 'RunAsAny'---kind: ClusterRoleapiVersion: rbac.authorization.k8s.io/v1metadata:  name: flannelrules:- apiGroups: ['extensions']  resources: ['podsecuritypolicies']  verbs: ['use']  resourceNames: ['psp.flannel.unprivileged']- apiGroups:  - ""  resources:  - pods  verbs:  - get- apiGroups:  - ""  resources:  - nodes  verbs:  - list  - watch- apiGroups:  - ""  resources:  - nodes/status  verbs:  - patch---kind: ClusterRoleBindingapiVersion: rbac.authorization.k8s.io/v1metadata:  name: flannelroleRef:  apiGroup: rbac.authorization.k8s.io  kind: ClusterRole  name: flannelsubjects:- kind: ServiceAccount  name: flannel  namespace: kube-system---apiVersion: v1kind: ServiceAccountmetadata:  name: flannel  namespace: kube-system---kind: ConfigMapapiVersion: v1metadata:  name: kube-flannel-cfg  namespace: kube-system  labels:    tier: node    app: flanneldata:  cni-conf.json: |    {      "name": "cbr0",      "cniVersion": "0.3.1",      "plugins": [        {          "type": "flannel",          "delegate": {            "hairpinMode": true,            "isDefaultGateway": true          }        },        {          "type": "portmap",          "capabilities": {            "portMappings": true          }        }      ]    }  net-conf.json: |    {      "Network": "10.244.0.0/16",      "Backend": {        "Type": "vxlan"      }    }---apiVersion: apps/v1kind: DaemonSetmetadata:  name: kube-flannel-ds  namespace: kube-system  labels:    tier: node    app: flannelspec:  selector:    matchLabels:      app: flannel  template:    metadata:      labels:        tier: node        app: flannel    spec:      affinity:        nodeAffinity:          requiredDuringSchedulingIgnoredDuringExecution:            nodeSelectorTerms:            - matchExpressions:              - key: kubernetes.io/os                operator: In                values:                - linux      hostNetwork: true      priorityClassName: system-node-critical      tolerations:      - operator: Exists        effect: NoSchedule      serviceAccountName: flannel      initContainers:      - name: install-cni        image: quay-mirror.qiniu.com/coreos/flannel:v0.13.1-rc1        command:        - cp        args:        - -f        - /etc/kube-flannel/cni-conf.json        - /etc/cni/net.d/10-flannel.conflist        volumeMounts:        - name: cni          mountPath: /etc/cni/net.d        - name: flannel-cfg          mountPath: /etc/kube-flannel/      containers:      - name: kube-flannel        image: quay-mirror.qiniu.com/coreos/flannel:v0.13.1-rc1        command:        - /opt/bin/flanneld        args:        - --ip-masq        - --kube-subnet-mgr        resources:          requests:            cpu: "100m"            memory: "50Mi"          limits:            cpu: "100m"            memory: "50Mi"        securityContext:          privileged: false          capabilities:            add: ["NET_ADMIN", "NET_RAW"]        env:        - name: POD_NAME          valueFrom:            fieldRef:              fieldPath: metadata.name        - name: POD_NAMESPACE          valueFrom:            fieldRef:              fieldPath: metadata.namespace        volumeMounts:        - name: run          mountPath: /run/flannel        - name: flannel-cfg          mountPath: /etc/kube-flannel/      volumes:      - name: run        hostPath:          path: /run/flannel      - name: cni        hostPath:          path: /etc/cni/net.d      - name: flannel-cfg        configMap:          name: kube-flannel-cfg
  
  
  

  
  
  

   
   
   
  
  
  
  
  
  

2.3、服务部署

接下来在kubernetes集群中部署一个nginx程序，测试下集群是否在正常工作。

# 1.部署nginx[root@master ~]# kubectl create deployment nginx --image=nginx:1.14-alpine# 2.暴露端口[root@master ~]# kubectl expose deployment nginx --port=80 --type=NodePort# 3.查看服务状态[root@master ~]# kubectl get pods,svc# 4.最后在访问nginx服务
  
  
  

  
  
  

三、资源管理

3.1、资源管理介绍

在kubernetes中，所有的内容都抽象为资源，用户需要通过操作资源来管理kubernetes。

• kubernetes的本质上就是一个集群系统，用户可以在集群中部署各种服务，所谓的部署服务，其实就是在kubernetes集群中运行一个个的容器，并将指定的程序跑在容器中。

• kubernetes的最小管理单元是pod而不是容器，所以只能将容器放在Pod中，而kubernetes一般也不会直接管理Pod，而是通过Pod控制器来管理Pod的。

• Pod可以提供服务之后，就要考虑如何访问Pod中服务，kubernetes提供了Service资源实现这个功能。

• 当然，如果Pod中程序的数据需要持久化，kubernetes还提供了各种存储系统。

学习kubernetes的核心，就是学习如何对集群上的Pod、Pod控制器、Service、存储等各种资源进行操作

3.2、资源管理方式

• 命令式对象管理：直接使用命令去操作kubernetes资源

  kubectl run nginx-pod --image=nginx:1.17.1 --port=80
      
      
      
  
      
      
      
  

• 命令式对象配置：通过命令配置和配置文件去操作kubernetes资源

  kubectl create/patch -f nginx-pod.yaml
      
      
      
  
      
      
      
  

• 声明式对象配置：通过apply命令和配置文件去操作kubernetes资源

  kubectl apply -f nginx-pod.yaml
      
      
      
  
      
      
      
  

类型	操作对象	适用环境	优点	缺点
命令式对象管理	对象	测试	简单	只能操作活动对象，无法审计、跟踪
命令式对象配置	文件	开发	可以审计、跟踪	项目大时，配置文件多，操作麻烦
声明式对象配置	目录	开发	支持目录操作	意外情况下难以调试

3.3.1、命令式对象管理

kubectl命令

kubectl是kubernetes集群的命令行工具，通过它能够对集群本身进行管理，并能够在集群上进行容器化应用的安装部署。kubectl命令的语法如下：

kubectl [command] [type] [name] [flags]
  
  
  

  
  
  

• comand：指定要对资源执行的操作，例如create、get、delete

• type：指定资源类型，比如deployment、pod、service

• name：指定资源的名称，名称大小写敏感

• flags：指定额外的可选参数

# 查看所有podkubectl get pod # 查看某个podkubectl get pod pod_name# 查看某个pod,以yaml格式展示结果kubectl get pod pod_name -o yaml
  
  
  

  
  
  

资源类型

kubernetes中所有的内容都抽象为资源，可以通过下面的命令进行查看:

kubectl api-resources
  
  
  

  
  
  

经常使用的资源有下面这些：

资源分类	资源名称	缩写	资源作用
集群级别资源	nodes	no	集群组成部分
namespaces	ns	隔离Pod
pod资源	pods	po	装载容器
pod资源控制器	replicationcontrollers	rc	控制pod资源
	replicasets	rs	控制pod资源
	deployments	deploy	控制pod资源
	daemonsets