一、概述
手工搭建 Kubernetes 集群是一件很繁琐的事情,为了简化这些操作,就产生了很多安装配置工具,如 Kubeadm ,Kubespray,RKE 等组件,我最终选择了官方的 Kubeadm 主要是不同的 Kubernetes 版本都有一些差异,Kubeadm 更新与支持的会好一些。Kubeadm 是 Kubernetes 官方提供的快速安装和初始化 Kubernetes 集群的工具,目前的还处于孵化开发状态,跟随 Kubernetes 每个新版本的发布都会同步更新, 强烈建议先看下官方的文档了解下各个组件与对象的作用。
https://kubernetes.io/docs/concepts/ https://kubernetes.io/docs/setup/independent/install-kubeadm/ https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
在创建Kubernetes集群时,阿里云容器服务提供两种网络插件:Terway和Flannel。
Flannel:使用的是简单稳定的社区的Flannel CNI 插件,配合阿里云的VPC的高速网络,能给集群高性能和稳定的容器网络体验,但功能偏简单,支持的特性少,例如:不支持基于Kubernetes标准的Network Policy。 Terway:是阿里云容器服务自研的网络插件,将阿里云的弹性网卡分配给容器,支持基于Kubernetes标准的NetworkPolicy来定义容器间的访问策略,支持对单个容器做带宽的限流。对于不需要使用Network Policy的用户,可以选择Flannel,其他情况建议选择Terway。
因此,本文主要介绍flannel的简单使用。
系统环境
系统 | 内核 | docker | ip | 主机名 | 配置 |
---|---|---|---|---|---|
centos 7.5 | 3.10.0-957.el7.x86_64 | 18.06.3 | 192.168.48.150 | k8s-master | 2核2G |
centos 7.5 | 3.10.0-957.el7.x86_64 | 18.06.3 | 192.168.48.151 | k8s-node01 | 2核2G |
centos 7.5 | 3.10.0-957.el7.x86_64 | 18.06.3 | 192.168.48.152 | k8s-node02 | 2核2G |
注意:请确保CPU至少2核,内存2G
二、准备工作
配置hosts
vim /etc/hosts
192.168.48.150 k8s-master
192.168.48.151 k8s-node01
192.168.48.152 k8s-node02
151.101.76.133 raw.githubusercontent.com
关闭防火墙
如果各个主机启用了防火墙,需要开放Kubernetes各个组件所需要的端口,可以查看Installing kubeadm中的”Check required ports”一节。 这里简单起见在各节点禁用防火墙:
systemctl stop firewalld
systemctl disable firewalld
设置系统时间和网络时间同步
1.安装ntpdate工具
sudo yum -y install ntp ntpdate
2.设置系统时间与网络时间同步
sudo ntpdate cn.pool.ntp.org
3.将系统时间写入硬件时间
sudo hwclock --systohc
禁用SELINUX
# 临时禁用
setenforce 0
# 永久禁用
vim /etc/selinux/config # 或者修改/etc/sysconfig/selinux
SELINUX=disabled
修改k8s.conf文件
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
关闭swap
# 临时关闭
swapoff -a
修改 /etc/fstab
文件,注释掉 SWAP 的自动挂载(永久关闭swap,重启后生效)
# 注释掉以下字段
/dev/mapper/cl-swap swap swap defaults 0 0
安装docker
这里就不再叙述了,请参考链接:
https://www.cnblogs.com/xiao987334176/p/11771657.html
配置加速器
vim /etc/docker/daemon.json
{
"registry-mirrors": [
"https://k9e55i4n.mirror.aliyuncs.com",
"https://1nj0zren.mirror.aliyuncs.com",
"https://docker.mirrors.ustc.edu.cn",
"http://f1361db2.m.daocloud.io",
"https://registry.docker-cn.com"
],
"exec-opts": ["native.cgroupdriver=systemd"]
}
修改主机名
hostnamectl set-hostname k8s-master
注意:主机名不能带下划线,只能带中划线 否则安装k8s会报错
could not convert cfg to an internal cfg: nodeRegistration.name: Invalid value: "k8s_master": a DNS-1123 subdomain must consist of lower case alphanumeric characters, '-' or '.', and must start and end with an alphanumeric character (e.g. 'example.com', regex used for validation is '[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*')
三、安装kubeadm,kubelet,kubectl
在各节点安装kubeadm,kubelet,kubectl
修改yum安装源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安装软件
目前最新版本是:1.18.1
yum install -y kubelet-1.18.1-0 kubeadm-1.18.1-0 kubectl-1.18.1-0
systemctl enable kubelet && systemctl start kubelet
以上,就是master和node都需要操作的部分。
四、初始化Master节点
运行初始化命令
kubeadm init --kubernetes-version=1.18.1 \
--apiserver-advertise-address=192.168.48.150 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16
注意修改apiserver-advertise-address为master节点ip
参数解释:
–kubernetes-version: 用于指定k8s版本;
–apiserver-advertise-address:用于指定kube-apiserver监听的ip地址,就是 master本机IP地址。
–pod-network-cidr:用于指定Pod的网络范围; 10.244.0.0/16
–service-cidr:用于指定SVC的网络范围;
–image-repository: 指定阿里云镜像仓库地址
这一步很关键,由于kubeadm 默认从官网k8s.grc.io下载所需镜像,国内无法访问,因此需要通过–image-repository指定阿里云镜像仓库地址
集群初始化成功后返回如下信息: 记录生成的最后部分内容,此内容需要在其它节点加入Kubernetes集群时执行。 输出如下:
...
Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.128.130:6443 --token rkt1p6.3m7z7pqfvaehxmxi \ --discovery-token-ca-cert-hash sha256:dd384c51b5a38cce275dd3e178f6f1601b644f5fc2bc2f8cee9c2b031b119143
注意保持好kubeadm join,后面会用到的。
配置kubectl工具
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
安装flannel
mkdir k8s
cd k8s
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
如果yml中的"Network": "10.244.0.0/16"和kubeadm init xxx --pod-network-cidr不一样,就需要修改成一样的。不然可能会使得Node间Cluster IP不通。
由于我上面的kubeadm init xxx --pod-network-cidr就是10.244.0.0/16。所以此yaml文件就不需要更改了。
查看yaml需要的镜像
# cat kube-flannel.yml |grep image|uniq
image: quay.io/coreos/flannel:v0.12.0-amd64
image: quay.io/coreos/flannel:v0.12.0-arm64
image: quay.io/coreos/flannel:v0.12.0-arm
image: quay.io/coreos/flannel:v0.12.0-ppc64le
image: quay.io/coreos/flannel:v0.12.0-s390x
注意:这些镜像都是需要访问谷歌才行的。
但是阿里云容器镜像服务ACR里面是有的,访问链接如下:
https://www.aliyun.com/product/acr
注意:必须使用阿里云账号登录才行。
点击管理控制台
点击左侧的镜像搜索
输入关键字:flannel:v0.12.0-amd64,选择第二个。
点击复制公网地址
由于我这里是上海区域,所以域名是:registry.cn-shanghai。如果你选的是其他区域,域名也会不一样。
下面就是我们需要的版本号。
那么下载镜像的完整命令为:
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64
其他镜像,也都在这里。
所以,所需要的镜像下载命令为:
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm64
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-ppc64le
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-s390x
为镜像打tag,保持和yaml文件一样。
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64 quay.io/coreos/flannel:v0.12.0-amd64
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm64 quay.io/coreos/flannel:v0.12.0-arm64
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm quay.io/coreos/flannel:v0.12.0-arm
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-ppc64le quay.io/coreos/flannel:v0.12.0-ppc64le
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-s390x quay.io/coreos/flannel:v0.12.0-s390x
注意:这些镜像,也需要在node节点执行。
加载flannel
kubectl apply -f kube-flannel.yml
查看Pod状态
等待几分钟,确保所有的Pod都处于Running状态
# kubectl get pod --all-namespaces -o wide
NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
kube-system coredns-7ff77c879f-8jpb7 0/1 Running 0 125m 10.244.0.3 k8s-master <none> <none>kube-system coredns-7ff77c879f-9gcjr 1/1 Running 0 125m 10.244.0.2 k8s-master <none> <none>kube-system etcd-k8s-master 1/1 Running 0 125m 192.168.128.130 k8s-master <none> <none>kube-system kube-apiserver-k8s-master 1/1 Running 0 125m 192.168.128.130 k8s-master <none> <none>kube-system kube-controller-manager-k8s-master 1/1 Running 0 125m 192.168.128.130 k8s-master <none> <none>kube-system kube-flannel-ds-amd64-gz8jd 1/1 Running 0 27s 192.168.128.130 k8s-master <none> <none>kube-system kube-proxy-wh548 1/1 Running 0 125m 192.168.128.130 k8s-master <none> <none>kube-system kube-scheduler-k8s-master 1/1 Running 0 125m 192.168.128.130 k8s-master <none> <none>
注意:coredns容器的网段是10.244.0.0/16
设置开机启动
systemctl enable kubelet
命令补全
(仅master)
yum install -y bash-completion
source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc
source ~/.bashrc
必须退出一次,再次登录,就可以了
五、node加入集群
准备工作
请查看上文中的准备工作,确保都执行了!!!
修改主机名部分,改为k8s-node01
hostnamectl set-hostname k8s-node01
加入节点
登录到node节点,确保已经安装了docker和kubeadm,kubelet,kubectl
kubeadm join 192.168.128.130:6443 --token rkt1p6.3m7z7pqfvaehxmxi \
--discovery-token-ca-cert-hash sha256:dd384c51b5a38cce275dd3e178f6f1601b644f5fc2bc2f8cee9c2b031b119143
若报错
echo 1 > /proc/sys/net/ipv4/ip_forward
设置开机启动
systemctl enable kubelet
查看节点
登录到master,使用命令查看
# kubectl get nodes -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
k8s-master Ready master 128m v1.18.1 192.168.128.130 <none> CentOS Linux 7 (Core) 3.10.0-957.el7.x86_64 docker://19.3.8k8s-node01 Ready <none> 30s v1.18.1 192.168.128.131 <none> CentOS Linux 7 (Core) 3.10.0-957.el7.x86_64 docker://19.3.8k8s-node02 NotReady <none> 19s v1.18.1 192.168.128.132 <none> CentOS Linux 7 (Core) 3.10.0-957.el7.x86_64 docker://19.3.8
登录到node节点,查看ip
# ifconfig
...
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450
inet 10.244.1.0 netmask 255.255.255.255 broadcast 0.0.0.0
inet6 fe80::80e7:9eff:fe5d:3d94 prefixlen 64 scopeid 0x20<link>
ether 82:e7:9e:5d:3d:94 txqueuelen 0 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 8 overruns 0 carrier 0 collisions 0
...
它会创建一个flannel.1网卡,用来做flannel网络通信的。
七、使用yml发布应用
以flaskapp为例子
flaskapp-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: flaskapp-1
spec:
selector:
matchLabels:
run: flaskapp-1
replicas: 1
template:
metadata:
labels:
run: flaskapp-1
spec:
containers:
- name: flaskapp-1
image: jcdemo/flaskapp
ports:
- containerPort: 5000
flaskapp-service.yaml
apiVersion: v1
kind: Service
metadata:
name: flaskapp-1
labels:
run: flaskapp-1
spec:
type: NodePort
ports:
- port: 5000
name: flaskapp-port
targetPort: 5000
protocol: TCP
nodePort: 30005
selector:
run: flaskapp-1
加载yml文件
kubectl apply -f flaskapp-service.yaml
kubectl apply -f flaskapp-deployment.yaml
查看pod状态
# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
flaskapp-1-5d96dbf59b-94v6v 1/1 Running 0 33s 10.244.2.2 k8s-node02 <none> <none>
等待几分钟,确保为Running状态
ping pod ip
# ping 10.244.2.2 -c 3
PING 10.244.2.2 (10.244.2.2) 56(84) bytes of data.
bytes from 10.244.2.2: icmp_seq=1 ttl=63 time=1.86 ms
bytes from 10.244.2.2: icmp_seq=2 ttl=63 time=0.729 ms
bytes from 10.244.2.2: icmp_seq=3 ttl=63 time=1.05 ms
--- 10.244.2.2 ping statistics ---
packets transmitted, 3 received, 0% packet loss, time 2001ms
rtt min/avg/max/mdev = 0.729/1.215/1.862/0.477 ms
确保能正常ping通,表示flannel网络正常。
访问页面
使用master ip+nodeport访问
http://192.168.48.150:30005/
效果如下:
参考:https://cloud.tencent.com/developer/article/1621722