k8s集群搭建

于 2024-04-12 14:52:38 发布
阅读量1.1k 收藏 23
点赞数 13
文章标签： kubernetes 容器 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiangyuteng003/article/details/137681010
版权

使用官方centos7 镜像，使用虚拟机进行安装k8s集群:

1、初始化

网卡配置：

由于官方镜像并没有开启默认的网卡配置，故这里需要先配置网卡

sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改配置ONBOOT=no----->ONBOOT=yes
# wq保存退出
# 重启网络服务
service network restart
systemctl restart network

安装网络工具

还是由于官方的镜像太过于纯净，连ifconfig查看网络的命令都没有安装，所以，wget 命令需要在后面切换yum源的时候需要用到所以需要提前安装。

#由于安装新的yum源之前需要备份yum源配置文件，后面使用 wget时候，发现没有wget命令，另外使用yum install wget 的时候 ，发现没有基础的yum文件无法访问网络，所以最好提前安装上。
yum install net-tools wget -y

关闭防火墙

# 关闭防火墙
systemctl stop firewalld
# 禁止自启动，永久关闭
systemctl disable firewalld

关闭seLinux

# 临时禁用selinux
setenforce 0

# 永久关闭selinux 
sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

禁用Swap(交换)分区

swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab

切换阿里云yum源

# 备份官方的原yum源的配置
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
# 下载Centos-7.repo文件
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

增加阿里云的Docker-ce的源：

# 安装yum管理工具
yum install -y yum-utils
# 配置阿里云的docker源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

增加kubernates 源

这段命令直接粘贴需要终端支持，测试powershell 是可以直接支持粘贴的

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

2、基础安装

通用安装包

yum install vim bash-completion net-tools gcc -y

安装docker

yum install docker-ce
# 启动Docker
systemctl start docker 
# 设置自动启动
systemctl enable docker

Kubernetes安装

Master上安装（控制面）:
# 安装kubeadm、kubectl、kubelet
yum install -y kubectl kubeadm kubelet
# 启动kubelet服务
systemctl enable kubelet && systemctl start kubelet
Node上安装（工作节点）：
# 安装kubeadm、kubelet
yum install -y kubeadm kubelet
# 启动kubelet服务
systemctl enable kubelet && systemctl start kubelet

3、初始化K8s集群

准备工作

虚拟机安装后每台机器的名称都是 localhost.localdomain ，为了不必要的麻烦,需要在每一台机器上更改一个不一样的名称：

hostnamectl --static set-hostname k8s-master # master节点
hostname $hostname # 立刻生效

hostnamectl --static set-hostname k8s-node1 # node节点
hostname $hostname # 立刻生效

初始化master节点

执行命令：kubeadm init

kubeadm init --image-repository registry.aliyuncs.com/google_containers --apiserver-advertise-address 192.168.147.33 --pod-network-cidr=10.122.0.0/16 --token-ttl 0

关于报错

初始化过程中，不出意外的话意外要出现了:

  1. 如果报 container runtime is not running:的错误，此时需要执行下面命令：
    rm -rf /etc/containerd/config.toml
systemctl restart containerd
  2. 如果报 Initial timeout of 40s passed，4分钟超时错误后需要执行：
    执行命令：ctr
ctr -n k8s.io images pull -k registry.aliyuncs.com/google_containers/pause:3.6
ctr -n k8s.io images tag registry.aliyuncs.com/google_containers/pause:3.6 registry.k8s.io/pause:3.6
# 重命名镜像registry.aliyuncs.com/google_containers/pause:3.6的tag为registry.k8s.io/pause:3.6
kubeadm reset -f

然后继续执行上面kubeadm init命令。一切顺利的话：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.147.133:6443 --token v2nbj9.n96aegm563ub38zt  --discovery-token-ca-cert-hash sha256:1a6b394358789c92e09a55eb0ae8279d5054c89aef867d4dca9dae1cf4ccf859

根据提示，我们执行：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看Master节点工作状态：

kubectl get nodes

此时是未准备状态。

安装网络插件（Calico）

# 执行命令
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.26.4/manifests/tigera-operator.yaml

然后执行：

# 下载到任意的文件夹:
wget https://raw.githubusercontent.com/projectcalico/calico/v3.26.4/manifests/custom-resources.yaml
vim custom-resources.yaml

这个是 custom-resources 文件内容，需要将cidr 网段的内容与 集群初始化时参数–pod-network-cidr 对应上。

# This section includes base Calico installation configuration.
# For more information, see: https://projectcalico.docs.tigera.io/master/reference/installation/api#operator.tigera.io/v1.Installation
apiVersion: operator.tigera.io/v1
kind: Installation
metadata:
  name: default
spec:
  # Configures Calico networking.
  calicoNetwork:
    # Note: The ipPools section cannot be modified post-install.
    ipPools:
    - blockSize: 26
    #   cidr: 192.168.0.0/16
      cidr: 10.122.0.0/16
      encapsulation: VXLANCrossSubnet
      natOutgoing: Enabled
      nodeSelector: all()

---

# This section configures the Calico API server.
# For more information, see: https://projectcalico.docs.tigera.io/master/reference/installation/api#operator.tigera.io/v1.APIServer
apiVersion: operator.tigera.io/v1
kind: APIServer
metadata:
  name: default
spec: {}

执行

kubectl create -f custom-resources.yaml

等待一段时间后，（大约4分钟）此时的Master节点已经准备就绪。

加入Node节点

如果没有改主机名，请先修改

hostnamectl --static set-hostname k8s-node1 #node1节点
hostname $hostname # 立刻生效

然后执行上述的命令：

kubeadm join 192.168.147.133:6443 --token v2nbj9.n96aegm563ub38zt  --discovery-token-ca-cert-hash sha256:1a6b394358789c92e09a55eb0ae8279d5054c89aef867d4dca9dae1cf4ccf859

如果之前没有保存，可以再Master节点上执行：

kubeadm token create --print-join-command

显示下列内容证明已经加入k8s集群，但是在Master节点上查看当前的node节点的状态为notReady。

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

报错

如果报 container runtime is not running:的错误，此时需要执行下面命令：

rm -rf /etc/containerd/config.toml
systemctl restart containerd
# 再执行join命令

如果节点一直not Ready：
查看日志：

journalctl -f -u kubelet.service

执行命令：k8s.io images pull

ctr -n k8s.io images pull -k registry.aliyuncs.com/google_containers/pause:3.6 
ctr -n k8s.io images tag registry.aliyuncs.com/google_containers/pause:3.6 registry.k8s.io/pause:3.6

等待一段时间后。会发现：集群已经成功运行

[root@k8s-master yum.repos.d]# kubectl get nodes
NAME         STATUS   ROLES           AGE   VERSION
k8s-master   Ready    control-plane   17h   v1.28.2
k8s-node1    Ready    <none>          17h   v1.28.2
k8s-node2    Ready    <none>          16h   v1.28.2

4、重置k8s集群

当虚拟接的网络发生变更之后，发现整个集群都不可用了。因为k8s集群高度依赖网络进行通信。学习环境可以重置集群,使用 kubeadm 工具重置集群的基本步骤：

在控制面（Master）节点和工作节点（Worker Nodes）上执行：

  1. 停止 kubelet 服务：

    sudo systemctl stop kubelet

  2. 使用 kubeadm 重置：

    sudo kubeadm reset

    这个命令会清除 kubelet 的配置，移除 Kubernetes 的相关容器，以及执行一些清理操作。

  3. 清理 iptables：
    清理可能残留的 iptables 规则，这些规则可能会干扰集群的重新初始化。

    sudo iptables -F
sudo iptables -X
sudo iptables -t nat -F
sudo iptables -t nat -X
sudo iptables -t mangle -F
sudo iptables -t mangle -X
sudo iptables -P FORWARD ACCEPT

（控制节点）重新初始化集群：

在控制面节点上，您可以使用 kubeadm init 命令来重新初始化集群。在执行此命令时，可以指定新的 IP 地址作为 API server 的地址。

新 IP 地址是 192.168.147.137，执行命令：

kubeadm init --image-repository registry.aliyuncs.com/google_containers --apiserver-advertise-address 192.168.147.137 --pod-network-cidr=10.122.0.0/16 --token-ttl 0

完成初始化后，按照提示操作，配置 kubectl 工具的使用环境。

（控制节点）网络重新初始化

kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.26.4/manifests/tigera-operator.yaml

kubectl create -f custom-resources.yaml

将工作节点加入集群：

使用命令：

kubeadm join 192.168.147.137:6443 --token 0c4gsd.ack5w3mvuyuauivl  --discovery-token-ca-cert-hash sha256:0ebb75771d6616cca43750771263760f28f31044da103de93ac6a010fc5afff9

名词解释

kubeadm init：

这是一条用于初始化Kubernetes集群的`kubeadm`命令。

1. `kubeadm init`
- 这是`kubeadm`工具的子命令,用于初始化Kubernetes控制平面节点。

2. `--image-repository registry.aliyuncs.com/google_containers`
- 指定用于拉取Kubernetes镜像的仓库地址,这里使用的是阿里云的镜像仓库,因为国内无法直接访问Google的仓库。

3. `--apiserver-advertise-address 192.168.147.33`
- 设置Kubernetes API Server将要对外公布的IP地址,其他节点将使用该地址与API Server通信。

4. `--pod-network-cidr=10.122.0.0/16`
- 为Kubernetes集群指定Pod网络的IP地址范围,这个CIDR表示将使用10.122.0.0/16这个网段作为Pod网络。

5. `--token-ttl 0`
- 设置令牌的超时时间为0,即令牌永不过期。通常在测试环境中使用,生产环境应设置适当的过期时间。

执行这条命令后,它会在当前节点上部署必需的组件,如`kube-apiserver`、`kube-controller-manager`、`kube-scheduler`等,从而初始化一个Kubernetes控制平面。

在后续的步骤中,通过部署网络插件(如Flannel、Calico等)为集群提供Pod网络互通,然后再使用`kubeadm join`命令将其他节点加入集群,从而构建一个完整的Kubernetes集群。

ctr

这两条命令都涉及到容器镜像的拉取和标记,它们是在配置Kubernetes环境时可能会用到的。

  1. ctr -n k8s.io images pull -k registry.aliyuncs.com/google_containers/pause:3.6
    • ctr 是 containerd 的命令行工具
    • -n k8s.io 指定使用 k8s.io 这个命名空间
    • images pull 表示拉取镜像
    • -k 选项允许从不受信任的镜像仓库拉取镜像
    • registry.aliyuncs.com/google_containers/pause:3.6 是要拉取的pause镜像在阿里云镜像仓库中的地址和标签

这条命令的作用是从阿里云的镜像仓库中拉取Kubernetes使用的pause容器镜像的3.6版本。

  1. ctr -n k8s.io images tag registry.aliyuncs.com/google_containers/pause:3.6 registry.k8s.io/pause:3.6
    • images tag 子命令用于给镜像打标签
    • registry.aliyuncs.com/google_containers/pause:3.6 是第一步拉取的镜像
    • registry.k8s.io/pause:3.6 是标准的Kubernetes pause镜像名称和标签

这条命令的目的是将从阿里云拉取的pause镜像重新打标签为Kubernetes标准的镜像名称和标签。

pause容器镜像是Kubernetes集群中非常重要的基础组件之一,它的作用是在每个Pod中作为唯一的无休止地运行的"pause"进程,其他容器则是通过共享技术与它共享PID namespace等资源。由于无法直接从Google镜像库拉取,所以需要先从其他镜像源拉取,再重新打标签。

这两条命令通常在部署Kubernetes集群的kubeadm init阶段会执行,以保证必需的pause镜像可用。

selinux

SELinux 全称为 Security-Enhanced Linux,是一种强制访问控制安全机制,它作为Linux内核的一个安全模块运行,限制程序只能访问它们授权的文件。

`setenforce 0` 这条命令的作用是临时将 SELinux 设置为 permissive 模式,也就是允许模式。在此模式下,SELinux 仅记录访问违规而不强制执行策略。

接下来的两条命令:

```
sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
```

这两条命令是永久关闭 SELinux。

第一条:
- `sed` 是流编辑器,允许对文件进行修改
- `-i` 参数让 sed 直接修改文件内容
- 单引号里是替换命令, `s/查找内容/替换内容/`
- 将 /etc/sysconfig/selinux 文件中的 SELINUX=permissive 替换为 SELINUX=disabled

第二条:
- 同样使用 sed 
- 双引号让 sed 可以识别 / 
- `g` 表示全局替换,将该文件中所有 SELINUX=enforcing 改为 SELINUX=disabled

执行这两条命令后,SELinux 就被永久关闭了。关闭 SELinux 会降低系统安全性,但也消除了它可能带来的一些程序兼容性问题。在生产环境中还是建议开启并正确配置 SELinux。

swap分区

这两条命令用于永久禁用Linux系统中的交换分区(swap)。

1. `swapoff -a`
- `swapoff`是用来关闭交换分区的命令
- `-a`选项表示关闭所有的交换分区

这条命令会立即关闭当前所有已启用的交换分区。

2. `sed -i 's/.*swap.*/#&/' /etc/fstab`
- `sed`是流编辑器,常用于文本替换
- `-i`选项让sed直接修改文件内容
- `'s/.*swap.*/#&/'`是替换命令
    - `.*swap.*`是正则表达式,用于匹配包含"swap"的行
    - `#&`是替换码,`#`号用于注释该行,`&`表示保留原来的内容
- `/etc/fstab`是系统启动时自动挂载分区和虚拟文件系统的配置文件

这条命令的作用是,用`#`号注释掉`/etc/fstab`文件中包含"swap"字样的行,从而阻止系统开机时自动挂载交换分区。

综合这两条命令的作用是:
1) 立即关闭当前的交换分区
2) 防止系统重启后自动启用交换分区

禁用交换分区通常是为了彻底利用系统物理内存,避免内存与交换分区之间的数据交换,从而获得更佳的性能表现,尤其对于需要大内存的任务非常有用。但也要权衡内存占用,避免内存不足导致系统崩溃。

kubectlcreate

这条命令是在Kubernetes集群中创建Calico网络插件所需的Tigera Operator。

让我们分解一下命令中的各个部分:

1. `kubectl create`
- `kubectl`是Kubernetes的命令行工具
- `create`是其子命令,用于从文件或URL创建Kubernetes资源

2. `-f` 
- 该标志指定要创建资源的文件源

3. `https://raw.githubusercontent.com/projectcalico/calico/v3.26.4/manifests/tigera-operator.yaml`
- 这是Tigera Operator安装文件的原始URL
- Calico是一个广泛使用的开源容器网络插件
- Tigera Operator是部署和管理Calico的Kubernetes操作符

执行这条命令后，它会从给定的URL下载一个YAML文件，并根据其中的定义在集群中创建所需的资源。

Tigera Operator主要包含以下几个关键资源:

1. Namespace: 为Calico组件创建一个专用命名空间
2. RBAC资源: 为Operator分配所需的权限
3. Deployment: 部署Operator本身
4. CustomResourceDefinitions: 定义Calico的自定义资源

创建Tigera Operator是安装Calico的第一步。接下来还需要创建Calico自定义资源来启用和配置网络插件。Calico会自动在集群中部署需要的组件,并根据配置为容器提供网络连接和网络策略实施。

总的来说,这条命令启动了在Kubernetes集群中部署流行的Calico CNI插件的过程。

参考资料：https://zhuanlan.zhihu.com/p/439991250

笔记更新: https://github.com/jiangteng2019/code-notes/blob/main/k8s/k8s%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA.md

jiangteng2022
关注
K8S集群搭建详细步骤
happy_ye16的博客
05-06 1117
1.28.2版本的K8S集群搭建，及dashboard安装
k8s集群搭建（保姆级教程以及遇到的各种问题解决）
最新发布
weixin_65279640的博客
10-01 1557
注意上面指定的网段不要跟自己真实的内网网段产生冲突，否则会造成机器之间无法ping通的问题。之后修改kube-flannel.yml中"Network": "10.244.0.0/16",与初始化时。如有报错可以使用命令查看日志信息自行百度，最下面会列出我遇到的一些问题。即可进入页面，之后选择第一个输入我们刚刚获取到的token即可进入。该命令是我们master结点初始化完毕的回显内容中的命令。请你刷新页面，点击页面任何位置，输入。下载flannel插件的yml。下面的令牌只能24h有效，
K8s集群部署配置文件包
10-27
K8s集群部署配置文件，快速完成k8s集群服务搭建，包含ETCD、集群网络配置、dashboard部署等
虚拟机安装k8s集群
qq_41583556的博客
01-20 421
互相可以ping通。例如 ping k8s-master-20 ping k8s-slave-node-21。vim /etc/fstab # 永久。注释这一行 # /dev/mapper/centos-swap swap。sed -i ‘s/enforcing/disabled/’ /etc/selinux/config # 永久。free -m #用来检测是否设置好。swapoff -a # 临时。date #验证是否设置好。5.关闭selinux。#设置完直接可以看到。
虚拟机安装k8s集群（一）
qq_38038507的博客
11-15 179
Kubernetes 集群大致分为两类：一主多从和多主多从。
安装部署K8S集群及Dashboard
SophiaLeo的博客
09-14 780
转载请表明出处 谢谢 安装K8S环境部署网络安装部署Kubernetes Master部署Kubernetes Node 环境 3台CentOS7(7.6以上)的虚拟机分别为: 192.168.0.229 192.168.0.237 192.168.0.191 搭建K8S的一个主节点两个Node节点 都是桥接模式 并且为静态ip 部署 网络 检查 # 在 master 节点和 worker 节点都要执行 cat /etc/redhat-release # 此处 hostname 的输出将会是该.
虚拟机搭建k8s集群
yeleits的博客
06-02 334
1、连接方式：host-only networks，关联之前手动创建的LAN网络（k8s集群节点内部通信）ip范围不要和k8s内部一些默认ip重叠，否则后续搭建集群、集群通信可能有问题。2、连接方式：桥接网卡，关联物理机的无线网卡（连接外网，安装k8s等）
k8s集群搭建redis集群
09-22
k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群
K8s集群搭建ansible部署脚本
04-21
我个人给公司开发的使用ansible部署k8s的脚本，支持vagrant调用ansbile，和直接ansible执行两种方式。k8s二进制组件使用最新的1.23.5 部署以下模块内容包括： preinstall 安装前准备，主机环境初始化，二进制文件...
本地虚拟机搭建k8s集群完整篇
Molendy的博客
08-17 7426
本地虚拟机搭建k8s集群完整篇
手把手教你在虚拟机中部署Kubernetes集群（K8S）
wszhm123的博客
08-21 2598
部署好了服务器。接下来需要准备三个服务器分别为master节点：master 192.168.171.7node节点：node1 192.168.171.6node节点：node2 192.168.171.4此步骤需要启动三台虚拟机，并且使用xshell进行连接使用执行多个的命令来在每个服务器同步执行相同的命令。
vmware、centos部署k8s集群
国产-达芬奇
01-16 1945
工具： 1、VMware® Workstation 12 Pro 2、centos7 3、xshell 4、三台linux虚拟机 192.168.20.20 （master节点） 192.168.20.21 （node节点） 192.168.20.22 （node节点） 安装时最好在纯净的机器上，否则会有很多问题。不过碰到问题也有好处，可以涨姿势~。耐心去逐个解决就是了。 一、安装3台虚拟机 鉴于本次主要是介绍K8s集群搭建，使用VMware安装linux虚拟机的步...
k8s-集群搭建1.28.2【傻瓜式搭建】
dylan_yue的博客
03-12 561
1.每台机器 2 GB 或更多的 RAM（如果少于这个数字将会影响你应用的运行内存）。CPU 2 核心及以上。
虚拟机快速搭建k8s集群
m0_49952522的博客
11-17 1272
vm虚拟机 k8s集群搭建
k8s 虚拟机内安装
Dream_叶挺的博客
08-08 1944
https://blog.csdn.net/watermelonbig/article/details/79341644     以下实验均是使用CentOS7.4 Minimual版本系统完成。用vagrant建立虚拟机 1、关闭系统防火墙 systemctl disable firewalld systemctl stop firewalld 2、安装etcd和Kubernete...
k8s简介、虚拟机快速搭建k8s集群、集群管理方式及K8S工作原理和组件介绍
一切随心走的博客
08-17 5230
k8s简介及虚拟机快速搭建k8s集群
虚拟机部署Kubernetes（K8S）
JFENG14的博客
12-02 6142
本次环境搭建需要安装三台Centos服务器（一主二从），然后再每台服务器中分别安装docker(18.06.3)，kubeadm(1.17.4)、kubelet(1.17.4)、kubectl(1.17.4)程序。
k8s 集群搭建 代码
04-01
抱歉，作为 AI，我无法提供完整的 k8s 集群搭建代码。但我可以提供一些指导： 1. 首先，您需要确保您的服务器满足 k8s 的最低硬件要求（例如：至少 2GB RAM，2个 CPU 核心等）。 2. 安装 Docker 和 Kubernetes。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值