kubeadm引导欧拉系统高可用的K8S1.28.X

已于 2024-05-29 17:06:03 修改
阅读量1.3k 收藏 29
点赞数 20
分类专栏： docker 文章标签： kubernetes 容器 云原生
于 2024-05-28 14:22:52 首次发布
渊洁
本文链接：https://blog.csdn.net/m0_50913327/article/details/132074507
版权

文章目录

K8s图

# containerd常用命令
ctr -n=<namespace> c ls # ctr -n=<namespace> containers list 查看containerd容器
ctr -n=<namespace> i ls # ctr -n=<namespace> images list 查看containerd镜像
ctr ns ls # ctr namespace list 查看containerd命名空间

# 应当交由k8s pod管理。我们很少直接操作容器
ctr -n=<namespace> c rm <容器ID> # 删除容器
ctr -n=<namespace> i rm <镜像ID> # 删除镜像

# kubectl常用命令
kubectl get ns # 查看k8s命名空间
kubectl get nodes # 查看k8s集群节点
kubectl get pods -n <namespace> # 查看某命名空间下所有pod
kubectl get pods -n <namespace> -o wide # 查看pod的详细内容

kubectl logs <pod> -n <namespace> # 查看某容器日志记录
kubectl describe <pod> -n <namespace> #  Kubernetes 资源（如 pod、节点和部署）的详细信息

kubectl delete pod <pod> -n <namespace> # 删除容器
kubectl delete namespaces <namespace> # 删除命名空间

kubectl taint nodes k8s-node2 check:NoExecute- # 去除污点
kubectl taint nodes k8s-node2 check=yuanzhang:NoExecute # 设置污点

一. 核心组件架构

在这里插入图片描述
在这里插入图片描述
Kube-APIServer:集群的控制中枢，各个模块之间信息交耳都需要经过 Kube-APIServer，同
时它也是集群管理、资源配置、整个集群安全机制的入口。

Controller-Manager:集群的状态管理器，保证Pod 或其他资源达到期望值，也是需要和APISewr进行通信，在需要的时候创建、更新或删除它所管理的资源。

Scheduler:集群的调度中心，它会根据指定的一系列条件，选择一个或一批最佳的节点，然后部署我们的 Pod。

Etcd: 键值数据库,报错一些集群的信息,一般生产环境中建议部署三个以上节点(奇数个)

Kubelet: 负责监听节点上 Pod的状态,同时负责上报节点和节点上面Pod 的状态,负责与 Master节点通信，并管理节点上面的Pod。

Kube-proxy:负责Pod之间的通信和负载均衡，将指定的流量分发到后端正确的机器上。查看 Kube-proxy 工作模式:curl 127.0.0.1:10249/proxyMode

ipvs:监听 Master 节点增加和删除 service 以及 endpoint 的消息，调用 Netlink接口创建相应的IPVS 规则。通过IPVS 规则，将流量转发至相应的Pod上。

Iptables:监听 Master 节点增加和删除 service 以及endpoint 的消息，对于每一个Service，他都会场景一个iptables 规则，将service 的 clusterIP 代理到后端对应的 Pod。

Calico:符合CNI标准的网络插件，给每个Pod 生成一个唯一的IP地址，并且把每个节点当做一个路由器。Ciliume

CoreDNS:用于 Kubernetes 集群内部 Service 的解析，可以让 Pod 把 Service 名称解析成 IP 地址，然后通过 Service的IP地址进行连接到对应的应用上。

Containerd： 容器引擎，负责对容器的管理。

Pod: Pod 是 Kubernetes 中最小的单元，它由一组、一个或多个容器组成，每个 Pod 还包含了一个 Pause 容器,Pause 容器是 Pod 的父容器,主要负责僵尸进程的回收管理,通过通过 Pause容器可以使同一个 Pod 里面的多个容器共享存储、网络、PID、IPC等。为不同的容器厂商提供了标准的CRI接口，实现容器调用。

二. 有状态与无状态应用

简单理解: 有数据存储的中间件是有状态应用,反之则是无状态.

无状态有状态
缺点不能存储数据，需要额外的数据服务支撑集群环境下需要实现主从、数据同步、备份、水平扩容复杂
优点对客户端透明，无依赖关系，可以高效实现扩容、迁移可以独立存储数据，实现数据管理

三. 资源对象

Kubernetes中的所有内容都被抽象为"资源"，如Pod、service.Node等都是资源。“对象"就是"资源"的实例，是持久化的实体。如某个具体的Pod、某个具体的Node。Kubernetes使用这些实体去表示整个集群的状态。

各组件配置API官方文档

3.1 规约与状态

spec”是“规约"、“规格”的意思，spec是必需的，它描述了对象的期望状态(Desired state) ——希望对象所具有的特征。当创建Kubernetes对象时，必须提供对象的规约，用来描述该对象的期望状态，以及关于对象的一些基本信息(例如名称)。

status 表示对象的实际状态，该属性由k8s自己维护，k8s会通过一系列的控制器对对应对象进行管理，让对象尽可能的让实际状态与期望状态重合。

3.2 资源的分类-元数据,集群,命名空间

大致分为三类: 元数据,集群,命名空间

在这里插入图片描述

3.2.1 元数据

一句话概括:对Kubernetes的所有资源实施了弹性约束和全局约束，并对实例的创建规则进行了描述。

Horizontal Pod Autoscaler (HPA):
在这里插入图片描述
PodTemplate
在这里插入图片描述
LimitRange
在这里插入图片描述

3.2.2 集群资源

Namespace
在这里插入图片描述
Node
在这里插入图片描述
ClusterRole
在这里插入图片描述
ClusterRoleBinding

不能绑定到元数据上的资源
在这里插入图片描述

3.3 命名空间级

3.3.1 pod

为什么我们需要Pod？当我们仅有运行时环境时，我们希望多个高度耦合的Java项目能够共享同一个数据卷，以实现数据共享。然而，在一对多的管理情况下，这变得极其不方便。

建议: 在一个Pod中关联了紧耦合的容器。通常情况下，一个Pod只包含一个容器。
在这里插入图片描述

在这里插入图片描述

3.3.2 pod-副本集

扩缩容的基础实例
在这里插入图片描述

3.3.3 pod-控制器

管理pod的控制器有很多,负责pod的无状态,有状态,定时任务,守护进程等的管理

无状态服务-扩缩容控制器 ReplicaSet(RS)
在这里插入图片描述
无状态服务-Deployment 针对RS的扩展,具备额外的滚动升级,回滚暂停恢复等
在这里插入图片描述
有状态服务-StatefulSet 专门针对于有状态服务进行部署的一个控制器

一句话总结: 保证无缝切换数据不丢失，同时确保项目能够访问新的容器地址，并保持集群主从关系的稳定，就像Redis哈希槽分区一样，确保分区不会混乱。

  • 稳定的持久化存储: 即 Pod 重新调度后还是能访问到相同的持久化数据，基于 PVC 来实现
  • 稳定的网络标志: 稳定的网络标志，即 Pod 重新调度后其 PodName 和 HostName 不变，基于 Headless Service（即没有 Cluster IP 的 Service）来实现
  • 有序部署，有序扩展: 有序部署，有序扩展，即 Pod 是有顺序的，在部署或者扩展的时候要依据定义的顺序依次依次进行（即从 0到 N-1，在下一个Pod 运行之前所有之前的 Pod 必须都是 Running 和 Ready 状态），基于 init containers 来实现
  • 有序收缩，有序删除: 有序收缩，有序删除（即从 N-1 到 0）
    在这里插入图片描述
Headless Service用于定义网络标志（DNS domain）DNS：域名服务将域名与 ip 绑定映射关系服务名 => 访问路径（域名） => ip
volumeClaimTemplate用于创建持久化模板,类似docker数据卷
DaemonSetDaemonSet 保证在每个 Node 上都运行一个容器副本，常用来部署一些集群的日志、监控或者其他系统管理应用。
job一次定时任务
cronjob周期定时任务

服务发现

servicePod 不能直接提供给外网访问，而是应该使用 service。Service 就是把 Pod 暴露出来提供服务
IngressIngress 可以提供外网访问 Service 的能力。可以把某个请求地址映射、路由到特定的 service。ingress 需要配合 ingress controller 一起使用才能发挥作用，ingress 只是相当于路由规则的集合而已，真正实现路由功能的，是 Ingress Controller，ingress controller 和其它 k8s 组件一样，也是在 Pod 中运行。

在这里插入图片描述
配置与存储

  • Volume :数据卷，共享 Pod 中容器使用的数据。用来放持久化的数据，比如数据库数据。
  • CSI: Container Storage Interface 是由来自 Kubernetes、Mesos、Docker 等社区成员联合制定的一个行业标准接口规范，旨在将任意存储系统暴露给容器化应用程序。CSI 规范定义了存储提供商实现 CSI 兼容的 Volume Plugin 的最小操作集和部署建议。CSI 规范的主要焦点是声明 Volume Plugin 必须实现的接口。
  • ConfigMap: 用来放配置，与 Secret 是类似的，只是 ConfigMap 放的是明文的数据，Secret 是密文存放。
  • Secret : Secret 解决了密码、token、密钥等敏感数据的配置问题，而不需要把这些敏感数据暴露到镜像或者 Pod Spec 中。Secret 可以以 Volume 或者环境变量的方式使用。
    Secret 有三种类型：
    Service Account：用来访问 Kubernetes API，由 Kubernetes 自动创建，并且会自动挂载到 Pod 的 /run/secrets/kubernetes.io/serviceaccount 目录中；
    Opaque：base64 编码格式的 Secret，用来存储密码、密钥等；
    kubernetes.io/dockerconfigjson：用来存储私有 docker registry 的认证信息。
  • DownwardAPI: downwardAPI 这个模式和其他模式不一样的地方在于它不是为了存放容器的数据也不是用来进行容器和宿主机的数据交换的，而是让 pod 里的容器能够直接获取到这个 pod 对象本身的一些信息。
    downwardAPI 提供了两种方式用于将 pod 的信息注入到容器内部：
    环境变量：用于单个变量，可以将 pod 信息和容器信息直接注入容器内部
    volume 挂载：将 pod 信息生成为文件，直接挂载到容器内部中去

role/rolebinding
在这里插入图片描述
在这里插入图片描述

四. Kubeadm安装k8s集群

kubectl debug #设置临时容器
sidecar # 本地文件日志filebeat收集和业务容器顺序定义
volumn # 更改目录权限，1.18之后不建议修改权限，文件数量大可能起不来容器
configMap和Secret #1.18后不支持运行时修改，避免热更新出错，导致生产事故

至少有 master,node节点服务器
操作系统: Centos7
K8S: 1.24+ 运行时环境不支持docker
运行时环境: Contanied，CRI-O

4.1 初始操作

在这里插入图片描述
https://github.com/kubernetes/kubernetes/issues/53533

主机名ip
k8s-master01192.168.0.101
k8s-master02192.168.0.102
k8s-master03192.168.0.103
k8s-node01192.168.0.104
k8s-node02192.168.0.105
k8s-node03192.168.0.106
k8s-loadblancer192.168.0.107

所有节点配置dns映射文件

vi /etc/hosts
192.168.0.101 k8s-master01
192.168.0.102 k8s-master02
192.168.0.103 k8s-master03
192.168.0.104 k8s-node01
192.168.0.105 k8s-node02 
192.168.0.106 k8s-node03
192.168.0.107 k8s-loadblancer

systemctl disable --now firewalld
systemctl disable --now dnsmasg
#systemctl disable --now NewworkManager #Centos8无需关闭
setenforce 0
#=========start ========
vim /etc/sysconfig/selinux
# 修改selinux参数
SELINUX=disabled
#=========end =========

 # swap启用后，在使用磁盘空间和内存交换数据时，性能表现会较差，会减慢程序执行的速度
 # kubelet 在 1.8 版本以后强制要求 swap 必须关闭
swapoff -a && sysctl -w vm.swappiness=0

vim /etc/sysctl.conf
#======start==========
net.ipv4.ip_local_port_range = 1024 65535
#======end==========
sysctl -p

#===== 注释swap静态文件读取，有些云服务器没有====
vi /etc/fstab
# /swap.img     none    swap    sw      0       0 

# 安装同步时间
yum install ntpdate -y
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo 'Asia/Shanghai' > /etc/timezone
ntpdate ntp1.aliyun.com

#加入到crontab
crontab -e
# =========================
*/5 * * * * ntpdate ntp1.aliyun.com
# =========================

# 配置网络
# 配置iptables参数，使得流经网桥的流量也经过iptables/netfilter防火墙 
# 设置必需的 sysctl 参数，这些参数在重新启动后仍然存在。
cat >> /etc/sysctl.d/k8s.conf << EOF
#####################################
#关闭ipv6协议
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.ip_forward = 1
net.ipv6.conf.all.disable_ipv6=1 
#开启网桥模式，可将网桥的流量传递给iptables链 
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
fs.may_detach_mounts = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 65536
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
#######################################
EOF

sysctl --system # 生效

Master01节点免密钥登录其他节点,安装过程中生成配置文件和证书均在 Master01上操作，
集群管理也在 Master01 上操作，阿里云或者 AWS 上需要单独一台kubectl服务器。密钥配置如下:
只在主节点进行

ssh-keygen -t rsa

for i in k8s-master01 k8s-master02 k8s-master03 k8s-node01 k8s-node02 k8s-node03;do ssh-copy-id -i .ssh/id_rsa.pub $i;done

所有节点安装负载均衡配置：

yum install ipvsadm ipset sysstat conntrack libseccomp

modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack # nf_connectrack_ipv4

# 设置开机自启动
vi /etc/modules-load.d/ipvs.conf
# ==========================
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack #nf_conntrack_ipv4
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip
# ==========================

systemctl enable --now systemd-modules-load.service
# 检查是否加载
lsmod | grep -e ip_vs -e nf_conntrack

install ipset ipvsadm -y
reboot

4.2 所有节点安装Docker（不建议）

需要说明的是k8s 1.24+以停止维护docker，需要额外安装docker-ce符合k8s容器接口标准。或者仅安装containerd容器 docker底层containerd。 之前k8s依赖顶层docker，docker操作containerd。但是docker不符合cri标准，被k8s踢出局了。直接对接底层contained。然后可以用containerd或者cri-o等，cri-o和docker一个级别，但是符合cri标准。
在这里插入图片描述

所有节点安装
查阅K8S适配容器

本博主采用欧拉系统，华为云HCE，以及欧拉操作系统开放源自基金会对于yum/dnf源，官方源都有问题。。最后看了一篇csdn成功了换源，如下

# 使用华为云服务Yum安装软件的时候提示错误：
# Error: Failed to download metadata for repo ‘epel’: Cannot download repomd.xml
https://blog.csdn.net/qq_58551342/article/details/137334183
https://cloud.tencent.com/developer/article/2383890

centos7，8系统

# 配置docker源
curl -fsSL https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker-ce.repo
yum clean all
# 重新构建缓存索引
yum makecache

# 查看可用docker版本
yum list docker-ce.x86_64 --showduplicates | sort -r

# 安装最新版本的 Docker Engine 和 containerd，或者进入下一步安装特定版本：
yum install docker-ce docker-ce-cli containerd.io -y


systemctl enable --now docker

4.2 contained运行时容器安装

# 配置软件源
curl -fsSL https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker-ce.repo
# 修改安装源为国内地址
sed -i 's#https://download.docker.com#https://mirrors.tuna.tsinghua.edu.cn/docker-ce#' /etc/yum.repos.d/docker-ce.repo
# openEuler 的使用方式近似 CentOS，因此，修改软件源的配置，使用 centos 7 的软件源
sed -i 's#$releasever#7#g' /etc/yum.repos.d/docker-ce.repo

yum clean all
yum makecache

cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

modprobe overlay
modprobe br_netfilter

# 应用 sysctl 参数而无需重新启动
sudo sysctl --system

# 移除之前安装的
remove docker docker-engine docker.io containerd runc

yum install containerd -y

在这里插入图片描述
修改配置，符合k8s标准

# 生成默认配置
mkdir -p /etc/containerd
# 生成默认配置文件并写入到 config.toml 中
containerd config default | sudo tee /etc/containerd/config.toml

# 配置containerd 
vim /etc/containerd/config.toml
#==========start============
[plugins."io.containerd.grpc.v1.cri".registry]
  config_path = "/etc/containerd/certs.d"
  
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
  ...
  [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
    SystemdCgroup = true	# false 修改为 true
    
[plugins."io.containerd.grpc.v1.cri"]
  ...
  # sandbox_image = "k8s.gcr.io/pause:3.6" crictl images list | grep pause
  sandbox_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9"	#这里一定要注意，要根据下载到本地 pause镜像的版本来进行修改，否则初始化会过不去。
#==========end============

# 创建指定配置目录
mkdir /etc/containerd/certs.d/docker.io -pv
cat > /etc/containerd/certs.d/docker.io/hosts.toml << EOF
server = "https://docker.io"
[host."https://xxxxxxxx.mirror.aliyuncs.com"]
  capabilities = ["pull", "resolve"]
EOF

systemctl daemon-reload
systemctl enable --now containerd

在这里插入图片描述

4.3 所有节点安装kubernates组件

所有节点安装
欧拉操作系统，参考如下

# 欧拉操作系统
https://docs.openeuler.org/zh/docs/20.03_LTS_SP1/docs/thirdparty_migration/k8sinstall.html

#添加 kubernetes 仓库 欧拉不执行
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
        http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum clean all
yum makecache
yum list kubeadm.x86_64 --showduplicates | sort -r
#yum install -y kubelet-1.18.20 kubeadm-1.18.20 kubectl-1.18.20 kubernetes-cni-1.18.20
# 安装kubeadm会把 kubelet，kubectl cni都装上
yum install -y kubeadm-1.28.2-0
# 设置Kubelet开机自启动
systemctl daemon-reload
systemctl enable --now kubelet

4.4 安装高可用组件

在这里插入图片描述

负载均衡节点或者所有master节点安装

使用Keepalived和HAproxy创建高可用集群

yum install keepalived haproxy -y
vim /etc/haproxy/haproxy.cfg
#============start=============
# 由于 lb1 和 lb2 上安装了 Keepalived 和 HAproxy，
# 如果其中一个节点故障，虚拟 IP 地址（即浮动 IP 地址）将自动与另一个节点关联，
# 使集群仍然可以正常运行，从而实现高可用。
global
    log /dev/log  local0 warning
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

   stats socket /var/lib/haproxy/stats
   
defaults
  log global
  option  httplog
  option  dontlognull
        timeout connect 5000
        timeout client 50000
        timeout server 50000

frontend kube-apiserver
  bind *:6444
  mode tcp
  option tcplog
  default_backend kube-apiserver

backend kube-apiserver
    mode tcp
    option tcplog
    option tcp-check
    balance roundrobin
    default-server inter 10s downinter 5s rise 2 fall 2 slowstart 60s maxconn 250 maxqueue 256 weight 100
    # 请注意 server 字段。请记住 6443 是 apiserver 端口， 代理到的master节点
    server kube-apiserver-1 192.168.0.101:6443 check # Replace the IP address with your own.
    server kube-apiserver-2 192.168.0.102:6443 check # Replace the IP address with your own.
    server kube-apiserver-3 192.168.0.103:6443 check # Replace the IP address with your own.
#============end============
systemctl restart haproxy
systemctl enable --now haproxy

vim /etc/keepalived/keepalived.conf
#============start==========
global_defs {
  notification_email {

  }

  router_id LVS_DEVEL
  vrrp_skip_check_adv_addr
  vrrp_garp_interval 0
  vrrp_gna_interval 0
}
## 检测haproxy程序脚本
vrrp_script chk_haproxy {
  script "killall -0 haproxy"
  interval 2
  weight 2
}

vrrp_instance haproxy-vip {

  state BACKUP
  priority 100
  # 对于 interface 字段，您必须提供自己的网卡信息。您可以在机器上运行 ifconfig 以获取该值。
  interface eth0                       # Network card
  virtual_router_id 60
  advert_int 1

  authentication {
    auth_type PASS
    auth_pass 1111
  }
# 为 unicast_src_ip 提供的 IP 地址是您当前机器的 IP 地址，公网ip
  unicast_src_ip 192.168.0.101     # The IP address of this machine
# 对于也安装了 HAproxy 和 Keepalived 进行负载均衡的其他机器，必须在字段 unicast_peer 中输入其 IP 地址。
  unicast_peer { # 公网ip
    # 192.168.0.102                      # The IP address of peer machines
  }

  virtual_ipaddress {  # 公网ip
    # 192.168.0.10/24                  # The VIP address
  }

  track_script {
    chk_haproxy
  }
}
#===========end===========
# 启动
systemctl restart keepalived
systemctl enable --now keepalived

4.5 集群初始化

利用 kubeadm 创建高可用集群
只在一个master节点初始化

# 节点初始化  均为私网地址，后期通过
# --control-plane-endpoint 负载均衡节点，其他node节点以此为准，一般为公网ip
# --kubernetes-version 初始化的k8s版本要和kubeadm一致
# --image-repository 镜像源
# --pod-network-cidr配置pod网络段，calico需要和其一致 子网划分套用
# --service-cidr 直接套用
# -- apiserver-advertise 当前master节点，内网ip
kubeadm init --control-plane-endpoint "192.168.0.101:6444" \
--upload-certs \
--kubernetes-version=v1.28.2 \
--image-repository=registry.aliyuncs.com/google_containers \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=10.96.0.0/12 \
--apiserver-advertise-address=192.168.0.101 \
--apiserver-bind-port=6443 \
-–cri-socket unix:///run/containerd/containerd.sock
# 初始化失败执行以下内容
kubeadm reset

# 查看组件状态
kubectl get pods -n kube-system

# iptables修改为ipvs
kubectl edit configmaps kube-proxy -n kube-system
# 删除之前的kube-proxy
kubectl get pod -n kube-system |grep kube-proxy |awk '{system("kubectl delete pod "$1" -n kube-system")}'

# 验证代理模式
kubectl get pod -n kube-system | grep kube-proxy
kubectl logs kube-proxy-bk7pl -n kube-system
netstat -lntp | grep kube-proxy
curl 127.0.0.1:port/proxyMode

在这里插入图片描述

# 查看token过期时间
kubeadm token list
# 假如token过期
# 生成node节点token
kubeadm token create --print-join-command
# 生成master的
kubeadm init phase upload-certs --upload-certs
#master节点
kubeadm join 197.168.0.101:80 --token 6btwxm.ln24af24fj4zna76 \
        --discovery-token-ca-cert-hash sha256:898981bce15f5f4f8654c7a8f8ade7f2c5ea626193f90add6b208df6972362a0 \
        --control-plane --certificate-key 104fc0e4d56387568a5962c1a8cbb1f42c1395b0704c10fcfd8b753369bfd5fb

#node节点
kubeadm join 197.168.0.101:80 --token 6btwxm.ln24af24fj4zna76 \
        --discovery-token-ca-cert-hash sha256:898981bce15f5f4f8654c7a8f8ade7f2c5ea626193f90add6b208df6972362a0

4.5.2 安装helm

Helm 图表是一种为 Kubernetes（类似于操作系统或操作系统）打包应用程序的方法。ArgoCD 等工具也使用 Helm 来管理集群中的应用程序，负责安装、升级（如果需要时回滚）等。

helm下载

wget https://get.helm.sh/helm-v3.15.1-linux-amd64.tar.gz
tar -zxvf helm-v3.15.1-linux-amd64.tar.gz \
&& mv linux-amd64/helm /usr/local/bin/ \
&& rm -rf linux-amd64

4.5.3 离线安装Calico

官方地址版本对应
安装资源包

本节参考自 离线安装calico

在这里插入图片描述
解压calico离线包并将所需文件上传至服务器
首先将calico.yaml文件上传至服务器
然后使用cat calico.yaml |grep image:命令查看calico所需的镜像包。

cat calico.yaml |grep image:

在这里插入图片描述
这里显示安装calico需要三个镜像，去解压的离线包imgaes文件夹中找到对应的三个离线镜像包文件，这里对应的分别是calico-cni.tar，calico-kube-controllers.tar和calico-node.tar三个离线包，将这三个离线镜像上传至服务器。
可以使用ctr namespace ls命令查看containerd的命名空间。k8s的命名空间为k8s.io
在这里插入图片描述

离线镜像导入containerd的k8s命名空间中，使用containerd的导入镜像命令将calico的离线镜像包导入到k8s的命名空间中

ctr -n k8s.io images import calico-cni.tar
ctr -n k8s.io images import calico-kube-controllers.tar
ctr -n k8s.io images import calico-node.tar

用之前上传的calico.yaml文件安装calico，calico.yaml可根据自己的实际需要修改。

vi calico.yaml
#=========start=======
#修改calico.yaml里的pod网段。 和kubadm init时候 pod-network-cidr参数保持一致
#把calico.yaml里pod所在网段改成kubeadm init时选项--pod-network-cidr所指定的网段，
#直接用vim编辑打开此文件查找192，按如下标记进行修改：
- name: IP
  value: "autodetect"
- name: IP_AUTODETECTION_METHOD #添加该环境变量
  value: "interface=eth.*|ens.*"
# no effect. This should fall within `--cluster-cidr`.
- name: CALICO_IPV4POOL_CIDR
  value: "10.244.0.0/16"
# Disable file logging so `kubectl logs` works.
- name: CALICO_DISABLE_FILE_LOGGING
  value: "true"
#========end ==========
# 为主节点和工作节点添加特定公网 IP 的注释
kubectl annotate node k8s-node01 projectcalico.org/IPv4Address=203.0.113.1
kubectl apply -f calico.yaml
kubectl get pods -n kube-system

在这里插入图片描述

4.5.4 Metrics Server

对于 Kubernetes，Metrics API 提供了一组基本的指标，以支持自动伸缩和类似的用例。 该 API 提供有关节点和 Pod 的资源使用情况的信息， 包括 CPU 和内存的指标。

metrics-server 会请求每台节点的 kubelet 接口来获取监控数据，接口通过 HTTPS 暴露，但 Kubernetes节点的 kubelet 使用的是自签证书，若 metrics-server 直接请求 kubelet接口，将产生证书校验失败的错误，因此需要在 components.yaml 文件中加上 --kubelet-insecure-tls启动参数。

且由于 metrics-server 官方镜像仓库存储在 k8s.gcr.io ，国内可能无法直接拉取，您可以自行同步到 CCR或使用已同步的镜像 ccr.ccs.tencentyun.com/mirrors/metrics-server:v0.7.1

metrics server

# 下载 yaml 部署文件
wget https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.7.1/components.yaml
# containerd容器下载
ctr image pull registry.cn-hangzhou.aliyuncs.com/google_containers/metrics-server:v0.7.1

vi components.yaml
#=========start=========
# 修改 metrics-server 启动参数
containers:
- args:
  - --cert-dir=/tmp
  - --secure-port=10250
  - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
  - --kubelet-use-node-status-port
  - --metric-resolution=15s
  - --kubelet-insecure-tls # 加上该启动参数
  image: registry.cn-hangzhou.aliyuncs.com/google_containers/metrics-server:v0.7.1 # 国内集群，请替换成这个镜像
#=========end=========
kubectl apply -f components.yaml
kubectl taint nodes kube-system check:NoExecute- # 去除污点
kubectl get pod -n kube-system | grep metrics-server

4.5.5 Kuboard

Kuboard github

#kubectl apply -f https://addons.kuboard.cn/kuboard/kuboard-v3.yaml
# 您也可以使用下面的指令，唯一的区别是，该指令使用华为云的镜像仓库替代 docker hub 分发 Kuboard 所需要的镜像
wget https://addons.kuboard.cn/kuboard/kuboard-v3-swr.yaml
vi kuboard-v3-swr.yaml
#========start=======
#KUBOARD_SERVER_NODE_PORT: '30080'
KUBOARD_ENDPOINT: http://kuboard-v
#=======end========
kubectl apply -f kuboard-v3-swr.yaml

watch kubectl get pods -n kuboard

#访问 Kuboard
#在浏览器中打开链接 http://your-node-ip-address:30080

#输入初始用户名和密码，并登录

#用户名： admin
#密码： Kuboard123

# 卸载
kubectl delete -f kuboard-v3-swr.yaml
rm -rf /usr/share/kuboard

在这里插入图片描述

4.5.6 集群验证

kubectl get po --all-namespaces -owide
最难不过坚持丶渊洁
关注
专栏目录
k8s安装部署(kubeadm)
lvbibir的博客
10-30 8660
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署： # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点的IP和端口 > 1. 安装要求 在开始之前，部署Kubernetes集群机器需要满足以下几个条件： 一台或多台机器，操作系统 CentOS7.x-86_x64 硬件配置：2GB或更多RAM，2
欧拉系统搭建k8s网络
m0_55024320的博客
11-24 2038
k8s网络
在OpenEuler(欧拉)系统上用kubeadm部署（k8s）Kubernetes集群
最新发布
Richardlygo的博客
09-07 2222
一、OpenEuler(欧拉) 系统简介openEuler 是开放原子开源基金会（OpenAtom Foundation）孵化及运营的开源项目；openEuler作为一个操作系统发行版平台，每两年推出一个LTS版本。该版本为企业级用户提供一个安全稳定可靠的操作系统。具体的介绍可以参考官网https://www.openeuler.org/zh/二、Kubernetes 1.24版本发布及改动。
Kubeadm方式部署K8s高可用集群
weixin_72583321的博客
05-17 1724
一个6节点的Kubernetes（K8s）高可用集群是一套由6台服务器组成的系统，旨在通过冗余和故障转移机制确保集群的稳定性和可靠性。它通常包括多个主节点（Master Nodes），这些节点运行着Kubernetes控制平面组件，如API服务器、调度器和控制器管理器，以及多个工作节点（Worker Nodes），它们负责运行容器化的应用。在高可用配置中，主节点会部署多个实例，并通过选举机制确保始终有一个主节点处于活跃状态，其他主节点则作为备份。工作节点则负责执行容器任务，并通过负载均衡和故障转移策略来保证
kubeadm部署 Kubernetes(k8s) 高可用集群【V1.28 】
srebro | 博客
09-01 2681
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。
k8s（kubernetes）的两种部署方式（kubeadm）
2301_77673652的博客
02-19 1097
默认token有效期为24小时,当过期之后,该token就不可用了。sed -i 's/enforcing/disabled/' /etc/selinux/config#永久。Kubernetes默认CRI(容器运行时)为Docker,因此先安装Docker。由于默认拉取镜像地址k8s.gcr.io国内无法访问,这里指定阿里云镜像仓库地址。sed -ri 's/.*swap.*/#&/' /etc/fstab#永久。访问地址：http://NodeIP:Port。sysctl--system #生效。
欧拉server操作系统镜像：22.09版本，X86架构
04-03
标题“欧拉server操作系统镜像：22.09版本，X86架构”与描述中的信息完全一致，说明这篇文档主要聚焦于华为开源操作系统欧拉（openEuler）的22.09版本针对X86架构的服务器操作系统的镜像文件。在展开具体知识点之前...
欧拉server操作系统22.03版本，X86架构
04-03
标题中提到的“欧拉server操作系统22.03版本，X86架构”指的是一款名为欧拉（openEuler）的服务器操作系统的新版本号为22.03，同时它支持X86架构的处理器。操作系统是一种软件，负责管理计算机硬件与软件资源，提供...
欧拉系统（openEuler-22.03）安装深信服EasyConnect软件提示segmentation fault解决方案
04-15
本文将深入探讨一个特定的问题——如何解决在欧拉系统（openEuler-22.03）上安装深信服EasyConnect软件时出现的“segmentation fault”错误，并提供相应的解决方案。 首先，让我们了解一下欧拉系统。欧拉系统（open...
欧拉-天才引导的历程.pdf
04-04
"欧拉-天才引导的历程.pdf" 本书主要讲述了欧拉的数学成就和贡献，并对数学的历史发展进行了概述。书中介绍了数学的重要性，数学的应用和数学家的贡献。同时，也探讨了科学技术的发展对人类社会的影响，以及科学...
filebeat-7.4.2-linux-x86_64.tar.gz
11-13
Filebeat 内置有多种模块（auditd、Apache、NGINX、System、MySQL 等等），可针对常见格式的日志大大简化收集、解析和可视化过程，只需一条命令即可。之所以能实现这一点，是因为它将自动默认路径（因操作系统而异）与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。不仅如此，数个 Filebeat 模块还包括预配置的 Machine Learning 任务
抛弃对外依赖，OpenEular（欧拉）操作系统为企业搭建独立的K8S集群环境！ 容器编排平台丨Kubernetes 丨自主可控的云计算系统丨容器化技术丨 新一代云计算基础设施丨分布式应用部署和管理
liufengheng010的博客
05-31 3451
如今，随着云计算、大数据、人工智能等技术的快速发展，越来越多的企业开始使用容器化技术来提高开发和交付速度。而Kubernetes则成为了最受欢迎的容器编排平台之一。然而，许多企业往往将Kubernetes部署在外部云平台上，这会增加成本和安全风险。那么，如何在不依赖外部云平台的情况下，为企业构建一个独立的Kubernetes环境呢？OpenEuler操作系统为这一问题提供了全面解决方案。本文将深入探讨OpenEuler操作系统如何为企业构建独立的Kubernetes环境，为企业数字化转型提供强大支持。
OpenEular23.09（欧拉）操作系统为企业搭建独立的K8S集群环境，详细流程+截图
君临天下tjm的博客
12-28 5436
那么这个空间设置成内存的2倍大小。点击IPv4设置--手动--添加--设置ip--设置DNS服务器，最后点击--“保存”；首先选中--“本地标准磁盘”，存储配置--自定义分区，点击--“完成”；在--主机名--设置主机名：（例如k8s-master01)，点击--点击+，设置--挂载点/boot--期望容量，点击--添加挂载点；点击--+--挂载点swap--期望容量，点击--“添加挂载点”；默认选择--亚洲--上海，并调整日期和时间，点击--“完成”；设备类型--确认--LVM，卷组--选择“修改”；
安装K8S集群1.17版本（euleros系统通用）
CN_Eden
10-16 1231
一、准备实验环境 1.准备两台centos7虚拟机，用来安装k8s集群，下面是两台虚拟机的配置情况 k8s-master(192.168.1.237)配置： 操作系统：centos7.4、centos7.5、centos7.6以及更高版本都可以配置：4核cpu，8G内存，两块60G硬盘网络：桥接网络 k8s-node1(192.168.1.238)配置： 操作系统：centos7.6配置...
open欧拉小白安装k8s各种报错
qq_51885001的博客
06-27 321
在安装k8s时由于小白与国内docker镜像关闭，导致出现一系列问题
k8s精确完整安装
qq_22877977的博客
08-14 161
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
从零开始：新手快速在国产操作系统中搭建高可用K8S(V1.28)集群落地实践
WeiyiGeek 唯一极客IT知识分享
09-22 2025
描述: 由于公司内部需要将原本繁重的elk日志收集平台(等保需要)以及Promethus资源监控预警平台(开发运维测试需要)，迁移到国产Linux操作系统之中(大趋势)，作者我也趁着此机会，将原本单机部署的项目进行迁移到，使用银河麒麟( KylinOS V10)服务器操作系统部署最新 V1.28 版本的高可用 Kubernetes 云平台上，让企业全面拥抱云原生，以及国产化替代。此外，作者也将使用贴近于云原生的架构来全面替换繁重elk日志收集平台，并且使用。
华为云欧拉操作系统（OpenEuler）部署K8S集群
weixin_47758895的博客
04-23 6440
。
欧拉系统安装不了libpng15.so.15
05-10
欧拉系统没有提供 libpng15.so.15 的安装包，因此您需要手动安装该库。您可以按照以下步骤进行操作： 1. 在终端中运行以下命令来下载 libpng15.so.15 库： ``` wget http://mirrors.aliyun.com/debian/pool/main/libp/libpng/libpng15-15_1.5.30-1+deb8u2_amd64.deb ``` 2. 运行以下命令来安装该库： ``` sudo dpkg -i libpng15-15_1.5.30-1+deb8u2_amd64.deb ``` 3. 如果您仍然无法使用该库，可以尝试通过更新软件源来解决问题： ``` sudo apt-get update ``` 然后重新运行第二步中的命令来安装该库。 希望这些步骤能够帮助您成功安装 libpng15.so.15 库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最难不过坚持丶渊洁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值