从虚拟机安装——KubeEdge架构部署（我的踩坑日记）

安装这个对于一个啥都不懂的来说确实费了好大的劲，也踩了好多的坑。大部分的坑是因为镜像过期的问题，在报错的时候百度的方法并未解决我所存在的问题，所以走了很多弯路。写这篇博客记录一下~

1. 要在虚拟机上面安装三个系统，分别是master，node1，node2
   1. ware，创建新的虚拟机，选择自定义配置进行安装

1. 1. 点击下一步

1. 1. 下一步，然后选择稍后安装操作系统。

1. 1. 选择Linux,然后选择centos系统，具体版本可以选择自己想要安装的版本。

1. 1. 虚拟机名称设置为master，node1，node2，位置可以选择自己想存放的位置，我这里是放到了E盘的一个文件夹下。然后点击，下一步

1. 1. 这一步选择处理器的数量为2个，其他不变，选择，下一步

1. 1. 虚拟机的内存设置为2G，所以这里改为2048MB

1. 1. 使用网络地址转换

1. 1. 后面直接选择默认的就可以，直接点击，下一步

1. 1. 最大磁盘大小这里，选择50GB，下一步

1. 1. 最后一步，点击，完成，就得到了一个目前还不包含操作系统的虚拟机。

1. 1. 然后对这个虚拟机进行操作系统的安装，选择，编辑虚拟机设置

1. 1. 选择CD/DVD,第二步选择使用ISO映像文件，然后点击浏览，选择已经下载好的，准备安装的系统ISO映像文件，然后点击确定

1. 1. 然后点击 开启虚拟机，进行系统的安装

1. 1. 等待安装完成

1. 1. 进入到这个界面，语言选择中文。点击，继续

1. 1. 在软件那一栏，点击软件选择，选择基础设施服务器。

     

1. 1. 系统这一栏，安装位置点开，直接点击完成，叹号和红色字体就会消失

 

1. 1. 然后点击网络和主机名。点击配置，然后选择常规。勾选“可用时自动连接到这个网络”

  

1. 1. 然后点击配置，选择ipv4设置。方法选择“手动”，然后点击add。我的地址是192.168.139开头的，所以master节点的地址我设置为192.168.139.100，node1和node2我分别设置为101和102。添加完之后，点击保存。地址的查看方法就是点击虚拟机里的“编辑”，然后选择虚拟网格编辑器，就可以看到自己的IP地址和网关。DNS服务器我选择的是阿里的223.5.5.5

1.21 最后更改主机名为master（node1，node2）点击上方的完成，完成各种配置进行系统的安装。

  

在安装的过程中可以设置一下，root密码，创建一个用户

1.22 安装完成进行重启

 

出现这个界面表示安装成功，可以输入之前设置的用户名和密码进行登录。

然后按照同样的过程和设置安装好node1和node2。

后面的一些操作三个节点是相同的操作，所以我就在mobaxterm里面对三个虚拟机同时进行部署。

就像这样，然后登录账户，获取root权限，开始进行部署。

1. kubernetes集群环境搭建
   1. 环境初始化

2.1.1 检查操作系统的版本

# 此方式下安装kubernetes集群要求Centos版本要在7.5或之上

[root@master ~]# cat /etc/redhat-release

我安装的版本是7.9。

2.1.2 为了方便集群节点间的直接调用，在这个配置一下主机名解析，企业中推荐使用内部DNS服务器

```powershell

# 主机名成解析 编辑三台服务器的文件 vim /etc/hosts，添加下面内容

192.168.139.100 master

192.168.139.101 node1

192.168.139.102 node2

【格式为：节点IP地址 主机名称（节点IP地址可以通过ifconfig命令来查看）】

【使用vim进行编辑时，输入i是对文件进行编辑，按ESC退出编辑模式，输入：wq保存退出】

2.1.3 时间同步

kubernetes要求集群中的节点时间必须精确一致，这里使用chronyd服务从网络同步时间

企业中建议配置内部的会见同步服务器

# 启动chronyd服务

systemctl start chronyd

systemctl enable chronyd

date

2.1.4  禁用iptable和firewalld服务

kubernetes和docker 在运行的中会产生大量的iptables规则，为了不让系统规则跟它们混淆，直接关闭系统的规则

```powershell

# 1 关闭firewalld服务

systemctl stop firewalld

systemctl disable firewalld

# 2 关闭iptables服务

systemctl stop iptables

systemctl disable iptables

所使用的系统没有iptables,所以会显示失败。不用管他，继续往下面操作。

2.1.5 禁用selinux

selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种各样的奇葩问题

编辑vim /etc/selinux/config 文件，修改SELINUX的值为disabled

注意修改完毕之后需要重启linux服务

SELINUX=disabled

修改完之后，退出保存。

2.1.6 禁用swap分区

swap分区指的是虚拟内存分区，它的作用是物理内存使用完，之后将磁盘空间虚拟成内存来使用，启用swap设备会对系统的性能产生非常负面的影响，因此kubernetes要求每个节点都要禁用swap设备，但是如果因为某些原因确实不能关闭swap分区，就需要在集群安装过程中通过明确的参数进行配置说明

编辑分区配置文件vim /etc/fstab，注释掉swap分区一行

注意修改完毕之后需要重启linux服务

vim /etc/fstab

注释掉 /dev/mapper/centos-swap swap

# /dev/mapper/centos-swap swap

```

保存退出

2.1.7 修改linux的内核参数

修改linux的内核采纳数，添加网桥过滤和地址转发功能

编辑vim /etc/sysctl.d/kubernetes.conf文件，添加如下配置：

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

net.ipv4.ip_forward = 1

# 重新加载配置

sysctl -p

# 加载网桥过滤模块

modprobe br_netfilter

# 查看网桥过滤模块是否加载成功

lsmod | grep br_netfilter

加载成功。

2.6.8 配置ipvs功能

在Kubernetes中Service有两种带来模型，一种是基于iptables的，一种是基于ipvs的两者比较的话，ipvs的性能明显要高一些，但是如果要使用它，需要手动载入ipvs模块

# 1.安装ipset和ipvsadm

yum install ipset ipvsadm -y

【如有报错解决参考这一小节最后红字部分】

# 2.添加需要加载的模块写入脚本文件

cat <<EOF> /etc/sysconfig/modules/ipvs.modules

#!/bin/bash

modprobe -- ip_vs

modprobe -- ip_vs_rr

modprobe -- ip_vs_wrr

modprobe -- ip_vs_sh

modprobe -- nf_conntrack_ipv4

EOF

# 3.为脚本添加执行权限

chmod +x /etc/sysconfig/modules/ipvs.modules

# 4.执行脚本文件

/bin/bash /etc/sysconfig/modules/ipvs.modules

# 5.查看对应的模块是否加载成功

lsmod | grep -e ip_vs -e nf_conntrack_ipv4

【安装失败原因：网络配置问题

解决办法：IP add

vim /etc/sysconfig/network-scripts/ifcfg-ens33

增加DNS

DNS2=10.0.2.2

DNS3=8.8.8.8

systemctl restart NetworkManager

ping www.baidu.com

ctrl c 暂停ping】

重启虚拟机，使之前配置生效

Reboot

2.1.9 安装docker

# 1、切换镜像源

yum install -y yum-utils

yum -y update

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum makecache fast

# 2、查看当前镜像源中支持的docker版本

yum list docker-ce --showduplicates

# 3、安装特定版本的docker-ce

# 必须制定--setopt=obsoletes=0，否则yum会自动安装更高版本

yum -y install docker-ce-20.10.21

# 4、添加一个配置文件

#Docker 在默认情况下使用Vgroup Driver为cgroupfs，而Kubernetes推荐使用systemd来替代cgroupfs

mkdir /etc/docker

cat <<EOF> /etc/docker/daemon.json

{

       "exec-opts": ["native.cgroupdriver=systemd"],

       "registry-mirrors": ["https://kn0t2bca.mirror.aliyuncs.com"]

}

EOF

# 5、启动dokcer

systemctl restart docker

systemctl enable docker

systemctl restart docker报错：Job for docker.service failed because start of the service was attempted too often 

解决方案：

进入目录下修改配置文件名称，路径：cd /etc/docker/

查看当前目录的配置文件，输入：ls

把daemon.json配置文件改成daemon.conf即可，命令：mv daemon.json daemon.conf。

然后再输入ll，看看有没有修改过来了

2.1.10 安装Kubernetes组件

# 1、由于kubernetes的镜像在国外，速度比较慢，这里切换成国内的镜像源

# 2、编辑vim /etc/yum.repos.d/kubernetes.repo,添加下面的配置

[kubernetes]

name=Kubernetes

baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgchech=1

repo_gpgcheck=1

gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg

                     http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

# 3、安装kubeadm、kubelet和kubectl

yum -y install kubelet-1.21.3 kubeadm-1.21.3 kubectl-1.21.3

# 4、配置kubelet的cgroup

#编辑vim /etc/sysconfig/kubelet, 添加下面的配置

KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"

KUBE_PROXY_MODE="ipvs"

# 5、设置kubelet开机自启

systemctl enable kubelet

# 在安装kubernetes集群之前，必须要提前准备好集群需要的镜像，所需镜像可以通过下面命令查看,查看版本

kubeadm config images list

2.1.10 安装Kubernetes组件

# 下载镜像

# 此镜像kubernetes的仓库中，由于网络原因，无法连接，下面提供了一种替换方案

images=(

       kube-apiserver:v1.21.3

       kube-controller-manager:v1.21.3

       kube-scheduler:v1.21.3

       kube-proxy:v1.21.3

       pause:3.4.1

       etcd:3.4.13-0

       coredns:1.8.0

)

for imageName in ${images[@]};do

       docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName

       docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName

       docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName

done

2.1.11 集群初始化

下面的操作只需要在master节点上执行即可

# 创建集群

kubeadm init --apiserver-advertise-address 192.168.139.100 --apiserver-bind-port=6443 --pod-network-cidr=10.244.0.0/16  --service-cidr=10.96.0.0/12 --kubernetes-version=1.21.3 --image-repository registry.aliyuncs.com/google_containers

【注：IP地址要替换成自己安装的master节点的IP地址】

# 创建必要文件

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

在master上查看节点信息

kubectl get nodes

状态是NotReady，因为网络插件没有安装

2.1.12 安装网络插件，只在master节点操作即可【这里我是搭了梯子下载的，但是网络还是很不稳定，但是我发现上午的时候网络会比较快，比较容易成功，可以多试几次】

kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

查看是否安装成功(插件安装需要一段时间，可以隔一段时间运行一下下面的命令查看一次是否安装成功，)

kubectl get pod -A

Typha那个组件我们用不到，所以pending状态也不影响

再次查看kubectl get nodes ，master节点已经ready

1. kubeedge的安装

3.1安装Golang（master节点和edgenode节点配置）

# 下载文件 解压Go包

wget https://golang.google.cn/dl/go1.17.linux-amd64.tar.gz

tar -zxf go1.17.linux-amd64.tar.gz -C /usr/local

# 配置环境变量

vim /etc/profile

#golang config

export GOROOT=/usr/local/go

export GOPATH=/data/gopath

export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

# 将变量配置生效

source /etc/profile

go version

2.2 安装keadm（按需修改版本号）

wget https://github.com/kubeedge/kubeedge/releases/download/v1.12.1/keadm-v1.12.1-linux-amd64.tar.gz            #下载keadm，根据版本可以到官网下载

tar -zxvf keadm-v1.12.1-linux-amd64.tar.gz       # 解压keadm的tar.gz的包

cd keadm-v1.12.1-linux-amd64/keadm/

cp keadm /usr/sbin/            #将其配置进入环境变量，方便使用

在master节点执行

# 去除污点

kubectl taint node master node-role.kubernetes.io/master-

# 二选一（看目录）

./keadm-v1.12.1-linux-amd64/keadm/keadm init --advertise-address="192.168.227.100" --kubeedge-version=1.12.1

./keadm init --advertise-address="192.168.227.100" --kubeedge-version=1.12.1

cloudcore已启动。

使用keadm gettoken  获取token

node节点

./keadm join --cloudcore-ipport=192.168.240.100:10000 --edgenode-name=edge --kubeedge-version=1.13.0 --token=<上面keadm gettoken里面的返回内容>

./keadm join --cloudcore-ipport=192.168.139.100:10000 --edgenode-name=edge --kubeedge-version=1.13.0 --token=2b7f2fad5100d5087e73acf3a81cddb4487c4a8b9ec260cffe8f9e0d99d7bbee.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2OTA0NTM3NDN9.WB_H_RTkj0SG-fYKZVgUzzvTKE7kx6ap6zjIuaBPb44