快速部署 k8s 集群（kubeadm）

1. 安装须知

部署k8s集群机器需要满足以下条件：

• 多台机器或一台机器多个虚拟机，操作系统 CentOS7.x-86_x64
• 硬件要求：RAM：2GB+，CPU双核+，硬盘30GB+
• 可以连外网，拉取镜像，否则需要提前准备镜像导入节点
• 禁止swap分区

2. 虚拟机初始化设置

三台虚拟机分别设置ip地址

节点	IP地址
master1	192.168.126.140
node1	192.168.126.141
node2	192.168.126.142

除单独说明，一下操作均在三台虚拟机中，注意区分ip、名称等个性化参数

关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
setenforce 0  # 临时

关闭swap
swapoff -a  # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

根据规划设置各主机名
hostnamectl set-hostname 主机名  # 分别为k8smaster1 k8snode1 ...
hostname  # 查看主机名

在master1添加hosts，node无需操作
cat >> /etc/hosts << EOF
192.168.44.140 k8smaster1
192.168.44.141 k8snode1
192.168.44.142 k8snode2
EOF

将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 生效

时间同步
yum install ntpdate -y
ntpdate time.windows.com

可选择操作

安装编辑工具vim
yum -y install vim

安装网络工具,可以ifconfig查看ip
yum -y install net-tools

如果ifconfig没有生效，还需要配置环境变量

vim /etc/profile
在配置文件的结尾添加配置信息

PATH=$PATH:/sbin
export PATH=$PATH:/sbin

保存退出，执行命令立即生效
source /etc/profile

3. 各个节点安装Docker、kubeadm、kubelet

k8s默认CRI（容器运行时）为Docker，因此先安装Docker。

3.1 安装Docker

docker我们指定版本docker-ce-18.06.1.ce-3.el7，防止版本不一致，设置开机启动

yum install wget
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
yum -y install docker-ce-18.06.1.ce-3.el7
systemctl enable docker && systemctl start docker
docker --version
# 显示 Docker version 18.06.1-ce, build e68fc7a

添加自己的阿里云镜像加速

cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://rdhqtc95.mirror.aliyuncs.com"]
}
EOF

systemctl restart docker # 重启
docker info # 查看阿里云镜像加速是否生效

3.2 docker添加阿里云YUM软件源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

3.3 安装kubeadm、kubelet、kubectl

由于版本更新频繁，这里指定版本号部署，如果不指定默认安装最新版

yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
systemctl enable kubelet # 开机启动

4. 部署 k8s master1

在192.168.126.140（k8smaster1）执行该命令

要注意将虚拟机cpu设置2核以上，否则报错

kubeadm init \
  --apiserver-advertise-address=192.168.126.140 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.18.0 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16
# \ 表示命令不执行，而是换行
# 第二行为k8smaster1的ip
# 阿里云仓库
# 指定k8s版本
# 第四、五行为k8s内部通信ip，与当前ip不冲突即可
# 出现initialized successfully!表示安装成功

由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址。

使用kubectl工具：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 查看节点,此时只有k8smaster1
kubectl get nodes

---

5. 加入k8s node

在 192.168.1.141/142（k8snode）执行该命令

向集群添加新节点，执行命令，

kubeadm join 192.168.126.140:6443 --token esce21.q6hetwm8si29qxwn \
    --discovery-token-ca-cert-hash sha256:00603a05805807501d7181c3d60b478788408cfe6cedefedb1f97569708be9c5

这个命令也可以在master执行kubeadm init时，输出的kubeadm join命令时查看到

默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，在master中执行命令

kubeadm token create --print-join-command

可以重新得到 join 命令

添加节点之后，在master重新执行

kubectl get nodes

查看集群节点情况，此时节点已经加入集群，但是状态为notready，因为缺少网络组件

接着配置网络插件

6. 部署CNI网络插件

master1 添加网络插件才可以对外访问

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

在主机中执行命令

如果默认镜像地址无法访问，多试几次，或者sed命令修改为docker hub镜像仓库。

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

检查状态

kubectl get pods -n kube-system

可以看到

NAME                          READY   STATUS    RESTARTS   AGE
kube-flannel-ds-amd64-2pc95   1/1     Running   0          72s

查看节点状态，显示为ready runnind
kubectl get nodes

如果安装网络插件kube-flannel.yml失败显示，解决办法见文章最后

The connection to the server raw.githubusercontent.com was refused - did you specify the right host or port?

7. 测试k8s集群

在Kubernetes集群中创建一个pod，验证是否正常运行：

master执行命令

# 拉取 nginx
kubectl create deployment nginx --image=nginx
# 对外暴露访问端口
kubectl expose deployment nginx --port=80 --type=NodePort
# 查看状态
kubectl get pod,svc

访问地址：http://NodeIP:Port

比如此时对外映射的是31138端口，则访问：192.168.126.140/141/142:31138

8. 下载 kube-flannel.yml 失败的解决办法

由于网络原因无法国外网站下载 kube-flannel.yml 文件

可以本地创建 kube-flannel.yml 文件，粘贴以下内容：有两个配置文件，任选其一

将 kube-flannel.yml 上传至centos7中，然后执行命令

kubectl apply -f kube-flannel.yml

---

以下为 kube-flannel.yml 内容

---
apiVersion: policy/v1beta1
kind: PodSecurityPolicy
metadata:
  name: psp.flannel.unprivileged
  annotations:
    seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default
    seccomp.security.alpha.kubernetes.io/defaultProfileName: docker/default
    apparmor.security.beta.kubernetes.io/allowedProfileNames: runtime/default
    apparmor.security.beta.kubernetes.io/defaultProfileName: runtime/default
spec:
  privileged: false
  volumes:
    - configMap
    - secret
    - emptyDir
    - hostPath
  allowedHostPaths:
    - pathPrefix: "/etc/cni/net.d"
    - pathPrefix: "/etc/kube-flannel"
    - pathPrefix: "/run/flannel"
  readOnlyRootFilesystem: false
  # Users and groups
  runAsUser:
    rule: RunAsAny
  supplementalGroups:
    rule: RunAsAny
  fsGroup:
    rule: RunAsAny
  # Privilege Escalation
  allowPrivilegeEscalation: false
  defaultAllowPrivilegeEscalation: false
  # Capabilities
  allowedCapabilities: ['NET_ADMIN']
  defaultAddCapabilities: []
  requiredDropCapabilities: []
  # Host namespaces
  hostPID: false
  hostIPC: false
  hostNetwork: true
  hostPorts:
  - min: 0
    max: 65535
  # SELinux
  seLinux:
    # SELinux is unused in CaaSP
    rule: 'RunAsAny'
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: flannel
rules:
  - apiGroups: ['extensions']
    resources: ['podsecuritypolicies']
    verbs: ['use']
    resourceNames: ['psp.flannel.unprivileged']
  - apiGroups:
      - ""
    resources:
      - pods
    verbs:
      - get
  - apiGroups:
      - ""
    resources:
      - nodes
    verbs:
      - list
      - watch
  - apiGroups:
      - ""
    resources:
      - nodes/status
    verbs:
      - patch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: flannel
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: flannel
subjects:
- kind: ServiceAccount
  name: flann