2024年k8s学习 — （实践）第二章 搭建k8s集群，Golang编程基础教程

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1. 操作系统：CentOS 7
2. Docker：20+
3. k8s：1.23.6

---

安装步骤

1.2.0 提示（步骤调整）

这里将1.2.3 中 安装的Docker的步骤先放到了1.2.1 安装Docker（所有节点），这个不影响整体的步骤。

1.2.1 安装Docker（所有节点）

安装 Docker：Centos7安装docker

1.2.2 初始操作（所有节点）

# 关闭防火墙
systemctl stop firewalld

# 禁用防火墙
systemctl disable firewalld

# 关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
# 或
setenforce 0  # 临时

# 关闭swap
sed -ri 's/.\*swap.\*/#&/' /etc/fstab    # 永久
# 或
swapoff -a  # 临时

# 关闭完swap后，一定要重启一下虚拟机！！！

# 根据规划重新设置各节点的主机名，设置完后记得重启虚拟机！！！
hostnamectl set-hostname <hostname>（k8s-master、k8s-node1、k8s-node2）

# 在各个节点的hosts加入配置后的主机名
cat >> /etc/hosts << EOF
192.168.3.241 k8s-master
192.168.3.242 k8s-node1
192.168.3.243 k8s-node2
EOF

# 将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system  # 生效

# 时间同步
yum install ntpdate -y

ntpdate time.windows.com

1.2.3 安装基础软件 kubeadm、kubelet、kubectl（所有节点）

1. 添加阿里云 yum 源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86\_64
enabled=1
gpgcheck=0
repo\_gpgcheck=0

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

2. 安装 kubeadm、kubelet、kubectl

yum install -y kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6

systemctl enable kubelet

---

配置关闭 Docker 的 cgroups，修改 /etc/docker/daemon.json：

# 加入以下内容
"exec-opts": ["native.cgroupdriver=systemd"]

完整配置：
{
"registry-mirrors": ["https://almtd3fa.mirror.aliyuncs.com","http://hub-mirror.c.163.com","http://mirrors.ustc.edu.cn"],
"exec-opts": ["native.cgroupdriver=systemd"]
}

# 使配置生效
systemctl daemon-reload

# 重启docker
systemctl restart docker

---

1.2.4 部署 Kubernetes Master（在 Master 节点下执行）

kubeadm init \
      --apiserver-advertise-address=192.168.3.241 \
      --image-repository registry.aliyuncs.com/google_containers \
      --kubernetes-version v1.23.6 \
      --service-cidr=10.96.0.0/12 \
      --pod-network-cidr=10.244.0.0/16

可能耗时有一点长，看网络情况，如下显示则安装成功：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.3.241:6443 --token f9v1xg.4vqoarsfo0zfrhge \
        --discovery-token-ca-cert-hash sha256:54795fb6e9ee1ae628549bf9ae2fad9245aa5b25f62dd3e6af8995cdc4e5b69f

注意最后有生成token的命令，这个在下一步会用到。

# 安装成功后，复制如下配置并执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 查看节点情况
kubectl get nodes

# 显示结果
[root@k8s-master ~]# kubectl get nodes
NAME         STATUS     ROLES                  AGE   VERSION
k8s-master   NotReady   control-plane,master   12m   v1.23.6

1.2.5 加入 Kubernetes Node（分别在 k8s-node1 和 k8s-node2 执行）

# 下方命令可以在 k8s master 控制台初始化成功后复制 join 命令
kubeadm join 192.168.3.241:6443 --token f9v1xg.4vqoarsfo0zfrhge \
        --discovery-token-ca-cert-hash sha256:54795fb6e9ee1ae628549bf9ae2fad9245aa5b25f62dd3e6af8995cdc4e5b69f

# 结果：
This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

在master节点查看集群情况：

kubectl get nodes

[root@k8s-master ~]# kubectl get nodes
NAME         STATUS     ROLES                  AGE   VERSION
k8s-master   NotReady   control-plane,master   51m   v1.23.6
k8s-node1    NotReady   <none>                 48m   v1.23.6
k8s-node2    NotReady   <none>                 48m   v1.23.6

重新生成token：

# 如果初始化的 token 不小心清空了，可以通过如下命令获取或者重新申请
# 如果 token 已经过期，就重新申请
kubeadm token create

# token 没有过期可以通过如下命令获取
kubeadm token list

# 获取 --discovery-token-ca-cert-hash 值，得到值后需要在前面拼接上 sha256:
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
openssl dgst -sha256 -hex | sed 's/^.\* //'

1.2.6 部署 CNI 网络插件

1.2.6.1 下载相关镜像（所有节点）

1. 创建相关目录

# 在/opt/下创建k8s，即：/opt/k8s/

2. （可跳过）选择 calico 配置文件（calico.yaml）下载地址
   地址1：https://docs.projectcalico.org/manifests/calico.yaml

可在浏览器上访问地址1，如果地址1无法访问，访问：https://docs.projectcalico.org，会发现地址会跳转到
https://docs.tigera.io，然后点击Calico Open Source，进入：图2所示页面，继续点击 All versions 可以查看Calico的版本情况（图3），根据需要选择对应版本。

---

---

地址2：https://docs.tigera.io/archive/{version}/manifests/calico.yaml，注意要把{version}替换为对应的版本，例如：https://docs.projectcalico.org/v3.25/manifests/calico.yaml、https://docs.tigera.io/archive/v3.24/manifests/calico.yaml

---

3. 下载 calico 配置文件（calico.yaml）

# 在/opt/k8s/路径下面下载 calico 配置文件（calico.yaml），可能会网络超时
wget https://docs.projectcalico.org/v3.25/manifests/calico.yaml --no-check-certificate

4. （可跳过）修改下载的 calico.yaml

# 修改下载的 calico.yaml 文件中的 CALICO\_IPV4POOL\_CIDR 配置。

# 如果 CALICO\_IPV4POOL\_CIDR 是注释掉的，也就是没有启用的，可以不修改。

# 如果要启用，先把前面的注释去掉，然后修改为与初始化时，--pod-network-cidr=10.244.0.0/16中的相同，即改为：
            - name: CALICO_IPV4POOL_CIDR
              value: "10.244.0.0/16"

# 修改 IP\_AUTODETECTION\_METHOD 下的网卡名称，没有该配置则不用修改

5. 去除下载地址的 docker.io/ 前缀

# 查看有docker.io/前缀的地址
grep image calico.yaml

[root@k8s-master k8s]# grep image calico.yaml
          image: docker.io/calico/cni:v3.25.0
          imagePullPolicy: IfNotPresent
          image: docker.io/calico/cni:v3.25.0
          imagePullPolicy: IfNotPresent
          image: docker.io/calico/node:v3.25.0
          imagePullPolicy: IfNotPresent
          image: docker.io/calico/node:v3.25.0
          imagePullPolicy: IfNotPresent
          image: docker.io/calico/kube-controllers:v3.25.0
          imagePullPolicy: IfNotPresent

# 删除镜像 docker.io/ 前缀，避免下载过慢导致失败，命令如下：
sed -i 's#docker.io/##g' calico.yaml

6. 在master、node1、node2节点下载好相关镜像，以免影响构建进度或导致构建失败

# 如果构建时下载镜像比较慢，可使用docker单独下载镜像后重新构建
docker pull calico/cni:v3.25.0

docker pull calico/node:v3.25.0

docker pull calico/kube-controllers:v3.25.0

1.2.6.2 根据 calico.yaml 构建应用（在 master 节点上执行）

# 在/opt/k8s/执行构建命令
kubectl apply -f calico.yaml

# 查看应用信息
kubectl get po -n kube-system

[root@k8s-master k8s]# kubectl get po -n kube-system
NAME                                     READY   STATUS    RESTARTS        AGE
calico-kube-controllers-cd8566cf-sn2fz   1/1     Running   0               3m37s
calico-node-7h4nl                        1/1     Running   0               3m37s
calico-node-b5wkj                        1/1     Running   0               3m37s
calico-node-kpmr8                        1/1     Running   0               3m37s
coredns-6d8c4cb4d-rr77x                  1/1     Running   0               26m
coredns-6d8c4cb4d-wt8pf                  1/1     Running   0               26m
etcd-k8s-master                          1/1     Running   1 (20m ago)     26m
kube-apiserver-k8s-master                1/1     Running   1 (20m ago)     26m
kube-controller-manager-k8s-master       1/1     Running   1 (20m ago)     26m
kube-proxy-msxz4                         1/1     Running   2 (5m16s ago)   21m
kube-proxy-w96nz                         1/1     Running   1 (20m ago)     26m
kube-proxy-zq98q                         1/1     Running   2 (5m10s ago)   21m
kube-scheduler-k8s-master                1/1     Running   1 (20m ago)     26m

# 查看某个Pod的运行情况
kubectl describe po calico-node-7h4nl（Pod名称） -n kube-system

# 查看集群信息
kubectl get nodes

[root@k8s-master k8s]# kubectl get nodes
NAME         STATUS   ROLES                  AGE   VERSION
k8s-master   Ready    control-plane,master   27m   v1.23.6
k8s-node1    Ready    <none>                 22m   v1.23.6
k8s-node2    Ready    <none>                 21m   v1.23.6

1.2.7 测试 kubernetes 集群（master节点）

# 部署nginx
kubectl create deployment nginx --image=nginx

[root@k8s-master ~]# kubectl create deployment nginx --image=nginx
deployment.apps/nginx created

# 暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort

[root@k8s-master ~]# kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed

# 查看 pod 以及服务信息
kubectl get pod,svc

[root@k8s-master k8s]# kubectl get pod,svc
NAME                         READY   STATUS              RESTARTS   AGE
pod/nginx-85b98978db-p5r5z   0/1     ContainerCreating   0          15s

NAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP        29m
service/nginx        NodePort    10.111.11.157   <none>        80:31906/TCP   8s

这里可以发现pod/nginx-85b98978db-p5r5z的状态是容器创建中，可通过如下命令进一步查看原因（镜像拉取中）：

kubectl describe pod nginx-85b98978db-p5r5z

# 在最下面的事件中，可以看到是在拉取nginx镜像中
Events:
  Type    Reason     Age   From               Message
  ----    ------     ----  ----               -------
  Normal  Scheduled  63s   default-scheduler  Successfully assigned default/nginx-85b98978db-p5r5z to k8s-node2
  Normal  Pulling    63s   kubelet            Pulling image "nginx"

可以稍等一会儿查看 pod 以及服务信息，因为k8s会有相关机制保证服务的运行，所以不用再重新下载nginx镜像部署：

# 查看 pod 以及服务信息
kubectl get pod,svc

[root@k8s-master k8s]# kubectl get pod,svc
NAME                         READY   STATUS    RESTARTS   AGE
pod/nginx-85b98978db-p5r5z   1/1     Running   0          29m

NAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP        58m
service/nginx        NodePort    10.111.11.157   <none>        80:31906/TCP   29m

访问nginx服务时，注意对外的端口不是80，而是31906，完整地址：192.168.3.241:31906，通过node1、node2的IP加端口也可以访问到。

---

---

1.3 二进制安装

利用 k8s 官方 github 仓库下载二进制包安装，安装过程较复杂，但相对较为稳定，推荐生产环境使用。

1.4 命令行工具

2 命令行工具 kubectl 相关命令

Kubernetes 提供 kubectl 是使用 Kubernetes API 与 Kubernetes 集群的 控制面 进行通信的命令行工具。

这个工具叫做 kubectl。更多官方命令

2.1 在任意节点使用 kubectl

1. 在master节点进行拷贝操作

# 将 master 节点中 /etc/kubernetes/admin.conf 拷贝到需要运行的服务器的 /etc/kubernetes 目录中

# 拷贝到k8s-node1
scp /etc/kubernetes/admin.conf root@k8s-node1:/etc/kubernetes

# 拷贝到k8s-node2
scp /etc/kubernetes/admin.conf root@k8s-node2:/etc/kubernetes

2. 在node1、node2节点配置环境变量

# 在对应的服务器上配置环境变量
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile

# 刷新配置
source ~/.bash_profile

3. node1节点完整操作

[root@k8s-node1 ~]# kubectl get pod,svc
The connection to the server localhost:8080 was refused - did you specify the right host or port?

[root@k8s-node1 ~]# echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash\_profile

[root@k8s-node1 ~]# source ~/.bash\_profile

[root@k8s-node1 ~]# kubectl get pod,svc
NAME                         READY   STATUS    RESTARTS     AGE
pod/nginx-85b98978db-gvkcv   1/1     Running   2 (8h ago)   11h

NAME                 TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP        11h
service/nginx        NodePort    10.104.72.59   <none>        80:32708/TCP   11h

2.2 资源操作 相关命令

命令一般都是 kubectl [动作 create delete] [资源 pod services deploy] [名称 nginx mysql]

2.2.1 创建对象

1. 创建资源

kubectl create -f ./my-manifest.yaml           # 创建资源
kubectl create -f ./my1.yaml -f ./my2.yaml     # 使用多个文件创建资源
kubectl create -f ./dir                        # 使用目录下的所有清单文件来创建资源
kubectl create -f https://git.io/vPieo         # 使用 url 来创建资源

下面的方式可用，但不推荐（书写不方便）：

# 从 stdin 输入中创建多个 YAML 对象
cat <<EOF | kubectl create -f -
apiVersion: v1
kind: Pod
metadata:
 name: busybox-sleep
spec:
 containers:
 - name: busybox
 image: busybox
 args:
 - sleep
 - "1000000"
---
apiVersion: v1
kind: Pod
metadata:
 name: busybox-sleep-less
spec:
 containers:
 - name: busybox
 image: busybox
 args:
 - sleep
 - "1000"
EOF

# 创建包含几个 key 的 Secret
cat <<EOF | kubectl create -f -
apiVersion: v1
kind: Secret
metadata:
 name: mysecret
type: Opaque
data:
 password: $(echo "s33msi4" | base64)
 username: $(echo "jane" | base64)
EOF

2. 启动资源实例

kubectl run nginx --image=nginx                # 启动一个 nginx 实例

3. 获取 pod 和 svc 的文档

kubectl explain pods,svc                       # 获取 pod 和 svc 的文档

2.2.2 显示和查找资源

# Get commands with basic output
kubectl get services                          # 列出所有 namespace 中的所有 service

kubectl get pods --all-namespaces             # 列出所有 namespace 中的所有 pod
kubectl get pods -o wide                      # 列出所有 pod 并显示详细信息
kubectl get pods --include-uninitialized      # 列出该 namespace 中的所有 pod 包括未初始化的

kubectl get deployment my-dep                 # 列出指定 deployment

# 查看所有的命名空间
kubectl get ns(namespace)

# 查看部署的应用
kubectl get deploy

# 查看部署的nginx应用
kubectl get deploy nginx

# 查看部署的nginx应用的配置文件 yaml格式
kubectl get deploy nginx -o yaml

# 查看部署的服务
kubectl get services

# 使用详细输出来描述命令
kubectl describe nodes my-node
kubectl describe pods my-pod

kubectl get services --sort-by=.metadata.name # List Services Sorted by Name

# 根据重启次数排序列出 pod
kubectl get pods --sort-by='.status.containerStatuses[0].restartCount'

# 获取所有具有 app=cassandra 的 pod 中的 version 标签
kubectl get pods --selector=app=cassandra rc -o \
  jsonpath='{.items[\*].metadata.labels.version}'

# 获取所有节点的 ExternalIP
kubectl get nodes -o jsonpath='{.items[\*].status.addresses[?(@.type=="ExternalIP")].address}'

# 列出属于某个 PC 的 Pod 的名字
# “jq”命令用于转换复杂的 jsonpath，参考 https://stedolan.github.io/jq/


![img](https://img-blog.csdnimg.cn/img_convert/3ebe6098579ff8983974c015df421f90.png)
![img](https://img-blog.csdnimg.cn/img_convert/259a0e3ecc6eb07f57701679fd310935.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以添加戳这里获取](https://bbs.csdn.net/topics/618658159)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

tus.containerStatuses[0].restartCount'

# 获取所有具有 app=cassandra 的 pod 中的 version 标签
kubectl get pods --selector=app=cassandra rc -o \
  jsonpath='{.items[\*].metadata.labels.version}'

# 获取所有节点的 ExternalIP
kubectl get nodes -o jsonpath='{.items[\*].status.addresses[?(@.type=="ExternalIP")].address}'

# 列出属于某个 PC 的 Pod 的名字
# “jq”命令用于转换复杂的 jsonpath，参考 https://stedolan.github.io/jq/


[外链图片转存中...(img-DDlth67D-1715655153880)]
[外链图片转存中...(img-A3EyNenJ-1715655153881)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以添加戳这里获取](https://bbs.csdn.net/topics/618658159)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**