kubernetes集群部署：环境准备及master节点部署（二）

置顶 已于 2024-07-06 14:12:25 修改
阅读量907 收藏 8
点赞数 12
分类专栏： 云计算-容器云 文章标签： kubernetes calico kubeadm
于 2024-07-05 16:14:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/avatar_2009/article/details/140211421
版权
主机名IPv4地址IPv6地址角色安装组件操作系统
k8s130-node190192.168.XX.190240a:XX::190masterkubeadm、kubelet、containerdAnolis OS 8.9+4.19.91-28.1.an8.x86_64
k8s130-node191192.168.XX.191240a:XX::191nodekubeadm、kubelet、cri-oAnolis OS 8.9+4.19.91-28.1.an8.x86_64
k8s130-node189192.168.XX.189240a:XX::189nodekubeadm、kubelet、cri-dockerdAnolis OS 8.9+4.19.91-28.1.an8.x86_64

安装前准备

1、最小化安装虚拟机，安装完之后需要更新到最新

~]# yum -y update

2、关闭防火墙

~]# systemctl disable firewalld && systemctl stop firewalld

3、关闭SELinux

~]# sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

4、确保时间同步服务运行正常，并且可以成功同步时间

~]# systemctl status chronyd -l --no-pager

5、安装必须的一些软件包

~]# yum -y install ipvsadm ipset conntrack-tools iproute-tc conntrack libseccomp wget tar

6、启用内核模块

~]# modprobe ip_conntrack
~]# modprobe nf_conntrack
~]# modprobe ip_vs
~]# modprobe ip_vs_rr
~]# modprobe ip_vs_rr
~]# modprobe ip_vs_wrr
~]# modprobe ip_vs_sh
~]# modprobe br_netfilter
~]# modprobe bridge

7、配置内核参数

~]# cat /etc/sysctl.d/99-sysctl.conf 
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv6.conf.all.disable_ipv6 = 0
net.ipv6.conf.default.disable_ipv6 = 0
net.ipv6.conf.lo.disable_ipv6 = 0
net.ipv6.conf.all.forwarding=1
net.ipv4.ip_forward=1
net.ipv4.neigh.default.gc_thresh1=1024
net.ipv4.neigh.default.gc_thresh2=2048
net.ipv4.neigh.default.gc_thresh3=4096
net.netfilter.nf_conntrack_max=2310720

net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_fin_timeout=10
net.ipv4.tcp_keepalive_time = 180
net.ipv4.tcp_keepalive_intvl = 10
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.ip_local_port_range = 21000 61000

vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963

8、关闭swap（在装虚拟机分区时就不做swap最好）

a、swapoff -a
b、注释/etc/fstab中的swap挂载

安装Containerd

containerd最初是Docker引擎的一部分，作为Docker的核心组件负责容器的创建、运行和管理。2017年，Docker决定将containerd作为一个独立的开源项目，以便社区能够更广泛地使用和贡献。containerd的目标是提供一个简单、稳定且高效的容器运行时，它可以作为各种容器生态系统的基础，特别是在与Kubernetes的集成方面。

1、配置第三方镜像源（在线安装Containerd需要配置docker-ce的镜像源，如果不想或者不能在线安装，那么可以通过其他方式：Getting started with containerd）

注：

a、这两种方式安装结果还是有很大不同的；

b、下面使用的是阿里镜像源，docker官方镜像源被qiang了

~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

~]# yum repolist|grep docker
docker-ce-stable                    Docker CE Stable - x86_64

2、安装Containerd最新版

~]# yum -y install containerd.io --disableexcludes=docker-ce-stable

3、设置开机启动

systemctl enable containerd

4、设置Containerd

docker-ce的配置文件是/etc/docker/daemon.json ，那么Containerd的呢？答案：/etc/containerd/config.toml。但是，通过docker镜像源在线安装的Containerd的配置文件不可用，需要重新生成配置文件。

mv /etc/containerd/config.toml{,_docker}
containerd config default > /etc/containerd/config.toml
4.1、配置sandbox_image

早先使用dockershim时，只需要配置kubelet的--pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9即可，如果要使用containerd作为kubernetes的运行时，pod-infra-container-image将不生效（不过kubeadm启动kubernetes组件时仍然会用到）

<     sandbox_image = "registry.k8s.io/pause:3.6"
---
>     sandbox_image = "192.168.XX.XX/kubeadm/pause:3.9"

4.2、设置SystemdCgroup && 配置私有仓库认证信息

……
[plugins]
  [plugins."io.containerd.grpc.v1.cri"]
    sandbox_image = "192.168.XX.XX/kubeadm/pause:3.7"
    [plugins."io.containerd.grpc.v1.cri".containerd]
      [plugins."io.containerd.grpc.v1.cri".containerd.runtimes]
        [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
          [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
            SystemdCgroup = true
……
      [plugins."io.containerd.grpc.v1.cri".registry.configs]
        [plugins."io.containerd.grpc.v1.cri".registry.configs."192.168.XX.XX".auth]
          username = "admin"
          password = "密码" 
 
      [plugins."io.containerd.grpc.v1.cri".registry.headers]
 
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
          endpoint = ["https://registry-1.docker.io"]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."192.168.XX.XX"]
          endpoint = ["http://192.168.XX.XX"]

4.3、Containerd的客户端命令配置

docker-ce的客户端命令就是docker，Containerd的客户端命令crictl和ctr,一般使用crictl，需要配置一下，否则~~哼哼

cat /etc/crictl.yaml 
runtime-endpoint: unix:///var/run/containerd/containerd.sock
image-endpoint: unix:///var/run/containerd/containerd.sock
timeout: 10
debug: false

5、启动Containerd

systemctl start containerd

安装kubeadm、kubelet、kubectl

1、配置第三方镜像源

cat <<EOF | tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://pkgs.k8s.io/core:/stable:/v1.30/rpm/
enabled=1
gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v1.30/rpm/repodata/repomd.xml.key
exclude=kubelet kubeadm kubectl cri-tools kubernetes-cni
EOF

2、安装kubelet kubeadm kubectl

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
systemctl enable kubelet

初始化kubernetes master节点

1、生成初始化YAML文件

kubeadm config print init-defaults > kubeadm-init.default.yaml

2、设置初始化文件。如下红色内容需要根据需要修改，另外，advertiseAddress只支持IPv4。

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.XX.190
  bindPort: 6443
nodeRegistration:
  criSocket: unix:///run/containerd/containerd.sock
  imagePullPolicy: IfNotPresent
  name: k8s130-node190
  taints: null
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: 1.30.0
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.254.0.0/16,2408:822a:730:af01::/112
  podSubnet: 172.254.0.0/16,fa00:cafe:42::/56
scheduler: {}
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
iptables:
  masqueradeAll: false
ipvs:
  minSyncPeriod: 0s
  scheduler: "rr"
kind: KubeProxyConfiguration
mode: "ipvs"

3、初始化master节点

kubeadm init --config=kubeadm-init.default.yaml |tee kubeadm-init.log

打印如下内容，则表明初始化成功。另外，根据初始化文件中定义的ttl: 24h0m0s，token的有效期是24小时，过期之后，将无法使用如下打印的token加入kubernetes集群。

安装之后处理

1、验证

~]$ kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS    MESSAGE   ERROR
controller-manager   Healthy   ok        
scheduler            Healthy   ok        
etcd-0               Healthy   ok        
~]$ kubectl get node
NAME             STATUS     ROLES           AGE     VERSION
k8s130-node190   NotReady   control-plane   3m44s   v1.30.2

执行kubectl get node，node是NotReady状态 ！                        --- --- 没有安装网络插件
执行kubectl get po，pod中coredns是Pending状态！                 --- --- 没有安装网络插件

安装网络插件-Calico

1、下载Calico启动配置文件

wget https://mirrors.chenby.cn/https://github.com/projectcalico/calico/blob/master/manifests/calico-typha.yaml

2、定制Calico配置文件

2.1、配置启用IP双栈（无需IPv6，则不需要配置）

<               "type": "calico-ipam"
---
>               "type": "calico-ipam",
>               "assign_ipv4": "true",
>               "assign_ipv6": "true"

2.2、配置IP地址段（无需IPv6，则只需配置IPv4即可）

<             # - name: CALICO_IPV4POOL_CIDR
<             #   value: "192.168.0.0/16"
<             - name: FELIX_IPV6SUPPORT
<               value: "true"
---
>             - name: CALICO_IPV4POOL_CIDR
>               value: "172.254.0.0/16"
>             - name: CALICO_IPV6POOL_CIDR
>               value: "fa00:cafe:42::/56"
>             - name: IP_AUTODETECTION_METHOD
>               value: "interface=ens.*"
>             - name: IP6_AUTODETECTION_METHOD
>               value: "interface=ens.*"
>             - name: FELIX_IPV6SUPPORT
>               value: "true"

2.3、修改镜像地址（无fan墙能力就得老老实实改）

<           image: docker.io/calico/cni:master
---
>           image: 192.168.XX.XX/library/cni:master
<           image: docker.io/calico/node:master
---
>           image: 192.168.XX.XX/library/node:master
<           image: docker.io/calico/kube-controllers:master
---
>           image: 192.168.XX.XX/library/kube-controllers:master
<           image: docker.io/calico/typha:master
---
>           image: 192.168.XX.XX/library/typha:master

2.4、创建Calico
kubectl apply -f calico-typha.yaml 
2.5、验证是否成功

Calico Typha启动的pod有3类：controller、node、typha。状态都变成Running，且Ready为1/1才表明成功了。controller是由deploy调度创建、node由daemonset调度创建（确保每个node上都启动一个calico-node，并且使用hostNetwork）

3、Calico组件说明

3.1. Calico Node

Calico Node 是 Calico 的核心组件，运行在每个集群节点上，负责以下任务：

  • IPAM（IP Address Management）：管理分配和回收 Pod 的 IP 地址。
  • BGP（Border Gateway Protocol）：使用 BGP 与其他 Calico 节点进行路由信息交换，确保网络中的所有 Pod 可以相互通信。
  • 网络策略实施：通过 iptables 或 eBPF 实施网络策略，控制 Pod 之间的流量。
  • Felix：Calico Node 包含 Felix 代理，负责与 Linux 内核网络栈交互，应用网络策略和管理路由。
3.2. Calico Controller

Calico Controller 是一个 Kubernetes 控制器，负责管理 Calico 与 Kubernetes API 之间的交互。其主要职责包括：

  • 同步 Calico 和 Kubernetes 对象：确保 Calico 的网络策略、IP 池和其他配置与 Kubernetes 中定义的对象保持一致。
  • 管理 Kubernetes 服务：处理 Kubernetes 服务对象，确保服务的 IP 地址正确配置，并与 Calico 网络策略兼容。
  • 确保高可用性：通过定期检查和同步，确保 Calico 配置的一致性和高可用性。
3.3. Calico Typha

Calico Typha 是一个可选的组件，主要用于大规模 Kubernetes 集群，以减少 API 服务器的负载和提高性能。其职责包括：

  • 聚合和分发数据：从 Kubernetes API 服务器获取更新，并将这些更新分发给集群中的 Calico Node 实例。
  • 减少 API 请求数量：通过集中处理和分发数据，Typha 减少了直接与 API 服务器通信的 Calico Node 实例数量，从而降低了 API 服务器的负载。
  • 提高集群性能：在大规模集群中，Typha 帮助减少网络流量和提高配置分发效率，从而提高整体性能。
3.4. 总结
  • Calico Node 是 Calico 的核心组件，负责管理节点上的网络配置和策略实施。
  • Calico Controller 负责 Calico 与 Kubernetes API 的交互，确保配置一致性和高可用性。
  • Calico Typha 用于大规模集群中，聚合和分发数据，减少 API 服务器的负载，提高性能。

下一篇：《kubernetes集群部署：node节点部署和CRI-O运行时安装（三）》

itachi-uchiha
关注
专栏目录
k8s----网络通信机制（calico-IPIP，fiannel-VXLAN）caclicoctl命令
weixin_45697293的博客
08-20 1887
calico 默认部署为 CrossSubnet，此种模式在部署完成后，有可能造成节点之间无法正常通行，如果已经确定部署模式为 IPIP 模式，可以在部署前将 CALICO_IPV4POOL_IPIP=“CrossSubnet”，修改为。，Pod中从网卡eth0发出的流量都会发送到Cni0网桥设备的端口（网卡）上，Cni0 设备获得的ip地 址是该节点分配到的网段的第一个地址。，但是会存在安全性问题，其在内核内置，可以通过Calico的配置文件设置是否启用IPIP，在公司内部如果k8s的node节点。
Kubernetes集群部署之四Master节点部署
weixin_34097242的博客
06-01 362
Kubernetes Master节点部署三个服务：kube-apiserver、kube-controller-manager、kube-scheduler和一个命令工具kubectl. Master节点来负责整个集群的管理和控制，其中 kube-apiserver 服务提供了HTTP Rest接口的关键服务进程，是Kuberneters里所有资源的增删改查等操作的唯一入口，也是集群控制的入口进...
K8S Calico网络插件
dz45693的专栏
05-25 1万+
0.前言 参考文档：https://github.com/containernetworking/cni Pod网络插件，为了实现Pod网络而需要的插件、组件。由于Kubernetes通过开放的CNI接口来允许插件的接入，所以它又称之为CNI网络插件。 为了解决跨主机容器间通信问题，市面上存在很多解决方案，为了兼容和规范这些解决方案，Kubernetes仅设计了网络模型，却将Pod网络的实现交给了CNI网络插件，并允许网络插件通过标准的CNI（Container Network Interface，容器网
Calico的入门和网络优化
琦彦
11-12 3334
Kubernetes Calico 1.简介 Calico是一个非常流行的Kubernetes网络插件和解决方案.Calico是一个开源虚拟化网络方案，用于为云原生应用实现互联及策略控制。与Flannel相比，Calico的一个显著优势是对网络策略（network policy）的支持，它允许用户动态定义ACL规则控制进出容器的数据报文，实现为Pod间的通信按需施加安全策略。事实上，Calico可以整合进大多数主流的编排系统，如Kubernetes、Apache Mesos、Docker和OpenStack
【kubernetes/k8s源码分析】calico typha源码分析
zhonglinzhang
11-27 5816
描述 Typha：在节点数比较多的情况下，Felix 可通过 Typha 直接和 Etcd 进行数据交互，不通过 kube-apiserver，既降低其压力。（有待验证） 引入网上他人图片，恩画的非常好 BGPClient(BIRD)：把 Felix写入 kernel的路由信息...
Calico
u011619480的专栏
01-09 2688
calico
【kubernetes集群部署保姆级教程-master节点一键部署脚本】
最新发布
01-18
为了使大家更加快速高效的部署k8s集群，这里编写了一个部署master节点的shell脚本，包括Docker的安装、k8s相应组件的安装、kubeadm init初始化等等，但基础环境的设置不包含在该脚本中，涉及到重启服务器，建议直接...
kubernetes二进制集群部署——–多master集群（步骤非常详细，适合初学者）
01-09
本文将详细介绍如何通过二进制方式部署一个多Master节点的Kubernetes集群，适合初学者逐步学习。 首先，我们要了解多Master节点集群的必要性。在单Master节点的集群中，如果Master节点出现问题，整个集群的控制平面...
Kubernetes-Saltstack：部署生产Kubernetes集群的配方
02-03
一个标准的Kubernetes集群由多个组件构成，包括Master节点和Worker节点。Master节点负责整体集群的控制平面，包括API服务器、etcd（分布式键值存储）、调度器和控制器管理器。Worker节点是运行应用Pods的地方，它们...
Kubernetes 集群部署 之 多Master节点 实现高可用
段小宝的博客
08-13 7573
目录前言一、K8s Master 高可用架构二、在单Master节点基础上搭建 多Master集群架构2.1 环境准备2.2 首先部署 Master02 节点2.3 验证三、负载均衡 集群部署安装 Nginx配置Nginx反向代理（四层）部署 keepalived 高可用 前言 之前我做过 单Master节点的二进制安装部署k8s服务。但是万一这台 Master 宕机了，整个服务就崩了，所以为了实现集群高可用，需要增加多台 Master 解决单点故障。 一、K8s Master 高可用架构 Keep
Kubernetes集群管理：Master与Node节点
### 1.1 什么是Kubernetes集群管理 Kubernetes集群管理是一种用于管理和编排容器化应用程序的开源平台。它提供了一种可靠且高效的方式来管理大规模的容器集群，以确保应用程序的弹性和高可用性。 ### 1.2 ...
kubernetes报错笔记 （一） calico报错
热门推荐
默子昂
05-31 1万+
错误1 read udp xxx:29270->169.169.0.10:53: i/o timeout read 主机地址加端口 >> 169.169.0.10：53好像是这个 解决方法 #错误原因 vi /etc/hosts 文件中缺少以下配置 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localho
带你玩转kubernetes-k8s（第49篇：深入分析k8s网络原理-[直接路由，Calico部署]）
坚持的道路注定孤独
08-23 3546
我们知道，docker0网桥上的IP地址在Node网络上是看不到的。从一个Node到一个Node内的docker0是不通的，因为它不知道某个IP地址在哪里。如果能够让这些机器知道对端docker0地址在哪里，就可以让这些docker0互相通信了。这样，在所有Node上运行的Pod就都可以互相通信了。 我们可以通过部署MultiLayer Switch（MLS）来实现...
Kubernetes 的网络原理 （七）---开源的网络组件flannel及calico
会哭的雨@的博客
08-02 1108
一 Flannel组件 1.1 flannel介绍 Kubernetes的网络模型假定了所有Pod都在一个可以直接连通的扁平网络空间中。若需要实现这个网络假设，需要实现不同节点上的Docker容器之间的互相访问，然后运行Kubernetes。目前已经有多个开源组件支持容器网络模型。如Flannel、Open vSwitch、直接路由和Calico。 Flannel之所以可以搭建Kubernetes依赖的底层网络，是因为它能实现以下两点。 它能协助Kubernetes，给每一个Node上的Doc
Kubernetes容器云网络插件厂商Calico刚刚发布了其v3.4版本
watermelonbig的专栏
12-11 1168
Calico作为Kubernetes生态系统中一个重要的网络解决方案厂商，以其网络插件功能的丰富性、灵活性和出众的性能所著称。Calico刚刚于2018年12月10号发布了其v3.4版本，在新版本中提供了以下的功能新特性和bug修复。 Calico v3.4的组件版本 下表显示了Calico v3.4的组件版本信息。 Component Version calico/node v...
k8s使用calico网络
weixin_34122810的博客
12-14 1744
calico是一个安全的 L3 网络和网络策略提供者。 calico使用bgp的原因：why bgp not ospf 有关BGP rr的介绍 安装方式 标准托管安装（ETCD存储） 需要提前安装etcd集群 # 创建calico连接etcd的secret kubectl create secret generic calico-etcd-secret...
k8s网络calico——BGP模式
weixin_30278237的博客
08-03 1864
参考文档 集群搭建参考：https://www.kubernetes.org.cn/4291.html calico 排查参考：http://blog.51cto.com/newfly/2062210?utm_source=oschina-app 1、修改现有k8s集群中的calico网络，默认是ipip模式（在每台node主机创建一个tunl0网口，这个隧道链接所有的node容器网络，官网...
手动部署Kubernetes Master节点：二进制安装步骤
"K8s二进制安装文档--部署master节点.txt，主要涉及Kubernetes (K8s) 集群中master节点的搭建，包括必要的组件、TLS证书检查及二进制文件的拷贝步骤。" 在Kubernetes集群中，master节点是整个系统的核心，它负责...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值