使用kubeadm搭建K8S集群

1 安装要求

在开始之前，部署Kubernetes集群机器需要满足以下几个条件：

• 三台机器，操作系统 CentOS7
• 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多
  -安装版本docker-ce-18.06.1.ce ; kubelet-1.18.0 ; kubeadm-1.18.0 ; kubectl-1.18.0

2 环境准备（所有节点都需要）

yum install 安装时会自动安装该程序需要的其他程序，所以在安装过程中有提示

的输 y

角色	IP
master1	192.168.125.131
node1	192.168.125.151
node2	192.168.125.152

在master添加hosts
[root@master1 ~]#

 cat >> /etc/hosts << EOF
192.168.125.131 master
192.168.125.151 node1
192.168.125.152 node2
EOF

以下步骤每个节点都要进行
关闭防火墙
[root@master1 ~]# systemctl stop firewalld
[root@master1 ~]# systemctl disable firewalld

关闭selinux
[root@master1 ~]# sed -i ‘s/enforcing/disabled/’ /etc/selinux/config # 永久
[root@master1 ~]# setenforce 0 # 临时

关闭swap
[root@master1 ~]# swapoff -a # 临时
[root@master1 ~]# sed -ri ‘s/.swap./#&/’ /etc/fstab # 永久

根据规划设置主机名
[root@master1 ~]# hostnamectl set-hostname

将桥接的IPv4流量传递到iptables的链
[root@master1 ~]#

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

[root@master1 ~]# sysctl --system # 生效

时间同步
[root@master1 ~]# yum install ntpdate -y
[root@master1 ~]# ntpdate time.windows.com

3 安装Docker/kubeadm/kubelet（所有节点都需要）

Kubernetes默认CRI（容器运行时）为Docker，因此先安装Docker

3.1 安装Docker

[root@master1 ~]# yum install -y wget
[root@master1 ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
[root@master1 ~]# yum -y install docker-ce-18.06.1.ce-3.el7
如遇报错“Error: docker-ce conflicts with 2:docker-1.13.1-208.git7d71120.el7_9.x86_64
You could try using --skip-broken to work around the problem
You could try running: rpm -Va --nofiles --nodigest”

表示此前已安装docker，两个版本docker冲突，解决方法：
将之前的docker删除后重新安装
[root@master1 ~]#

yum remove docker \
    docker-client \
    docker-client-latest \
    docker-common \
    docker-latest \
    docker-latest-logrotate \
    docker-logrotate \
    docker-selinux \
    docker-engine-selinux \
    docker-engine

[root@master1 ~]# rm -rf /etc/systemd/system/docker.service.d
[root@master1 ~]# rm -rf /var/lib/docker
[root@master1 ~]# rm -rf /var/run/docker

运行docker并设置为开机自启动
[root@master1 ~]# systemctl enable docker && systemctl start docker
#查看dockers版本
[root@master1 ~]# docker --version

配置阿里云加速镜像
[root@master1 ~]# mkdir -p /etc/docker
[root@master1 ~]#

tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://jrdp2ecx.mirror.aliyuncs.com"]
}
EOF

[root@master1 ~]# systemctl daemon-reload && systemctl restart docker

3.2 添加阿里云YUM软件源

[root@master1 ~]#

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

3.3 安装kubeadm，kubelet和kubectl

由于版本更新频繁，这里指定版本号部署：
[root@master1 ~]# yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
[root@master1 ~]# systemctl enable kubelet

4 部署Kubernetes Master

在Master节点执行
[root@master1 ~]#

kubeadm init \
  --apiserver-advertise-address=192.168.125.131 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.18.0 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16

#此时有输出kubeadm join命令，复制出来保存，例如：kubeadm join xxxxxxxx

由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址。

使用kubectl工具：
[root@master1 ~]# mkdir -p $HOME/.kube
[root@master1 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master1 ~]# sudo chown $(id-u):$(id -g) $HOME/.kube/config
[root@master1 ~]# kubectl get nodes

5 加入Kubernetes Node

在192.168.125.151/152（Node）执行。
向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：
kubeadm join xxxxxxxxxxxx
默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，在master节点操作如下：
[root@master1 ~]# kubeadm token create --print-join-command

6 部署CNI网络插件(master节点执行以下操作)

[root@master1 ~]# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
如果报错显示无法连接，可能是raw.githubusercontent.com被墙了，可以到https://ip.chinaz.com/raw.githubusercontent.com查询ip，
然后
[root@master1 ~]# vi /etc/hosts
添加 199.232.68.133 raw.githubusercontent.com



执行
[root@master1 ~]# kubectl apply -f kube-flannel.yml
等待k8s 把 pod：flannel生效 可以用命令查看状态进度：
[root@master1 ~]# kubectl get pods -n kube-system
等 flannel 状态显示 Running后 执行查看k8s集群运行状态命令：
[root@master1 ~]# kubectl get nodes
此时发现master虚拟机状态已经Ready了，但是工作node没有起来，状态是NotReady

7 配置node节点

运行命令把master节点的配置copy到工作节点（192.168.125.131为master节点ip）
[root@node ~]# scp -r 192.168.125.131:/etc/cni /etc/cni
重启启动 kubelet
[root@node ~]# systemctl restart kubelet
回到master节点查看
执行查看k8s集群运行状态命令：
[root@node ~]# kubectl get nodes

到此k8s集群搭建完毕！

8 测试kubernetes集群

在Kubernetes集群中创建一个pod，验证是否正常运行：
[root@master1 ~]# kubectl create deployment nginx --image=nginx
[root@master1 ~]# kubectl expose deployment nginx --port=80 --type=NodePort
[root@master1 ~]# kubectl get pod,svc

9 安装dashboard

9.1 在service里添加nodeport

由于官方部署dashboard的服务没使用nodeport，所以将yaml文件下载到本地，在service里添加nodeport
使用如下命令(master上操作)：
[root@master1 ~]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-rc7/aio/deploy/recommended.yaml

下载完成之后，修改kind: Service文件（注：这个文件里面有两个kind: Service，请选用第一个，其实这两个是由区别的，还请注意区分 ）

kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort   ##新增
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001    ##新增
  selector:
k8s-app: kubernetes-dashboard

修改完成之后，执行
[root@master1 ~]# kubectl create -f recommended.yaml

查看dashboard关联的pod以及service的状态
[root@master1 ~]# kubectl get pod,svc -n kubernetes-dashboard

9.2 创建serceaccount和clusterrolebinding资源YAML文件

执行vi adminuser.yaml ，内容如下

apiVersion: v1
kind: ServiceAccount
metadata:
    name: admin-user
    namespace: kubernetes-dashboard
    
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin-user
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kubernetes-dashboard

9.3 创建admin-user并且赋予admin-user集权管理员权限

执行
[root@master1 ~]# kubectl create -f adminuser.yaml

成功后，在本地浏览器中查看 https://192.168.125.131:30001/ 会发现需要Token

9.4 查看Token

使用如下命令
[root@master1 ~]# kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk ‘{print $1}’)

将Token值输入到浏览器中后查看

#如果无数据，且页面有报错“configmaps is forbidden: User “system:anonymous” cannot list resource “configmaps” in API group “” in the namespace “default”
在master节点上给匿名用户授权即可解决，测试环境可用此快速解决
[root@master1 ~]# kubectl create clusterrolebinding test:anonymous --clusterrole=cluster-admin --user=system:anonymous

End.