k8s集群环境搭建

1：机器准备

这里我们准备三台虚拟机，一台master，二台node

2：安装前的环境确认

所有机器都需要执行：

a：三台机器都可以联网，uname -a查看内核是否大于等于3.1

b：关闭三台机器的防火墙

systemctl stop firewalld

systemctl disable firewalld

c：关闭selinux

sed -i 's/enforcing/disabled/' /etc/selinux/config

d：关闭swap

swapoff -a

vi /etc/fstab

注释这一行：/mnt/swap swap swap defaults 0 0

free -m查看swap是否全为0

e：配置三台机器的主机名,分别在三台机器上执行命令

10.100.0.131上执行：hostnamectl set-hostname k8smaster

10.100.0.196上执行：hostnamectl set-hostname k8snode1

10.100.0.245上执行：hostnamectl set-hostname k8snode2

f：在master的机器上添加hosts，在10.100.0.131上执行命令

cat >> /etc/hosts << EOF

10.100.0.131 k8smaster

10.100.0.196 k8snode1

10.100.0.245 k8snode2

EOF

g：将桥接的IPV4流量传递到iptables的链，三台机器都执行命令

cat > /etc/sysctl.d/k8s.conf << EOF

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

EOF

h：所有节点执行命令，生效

sysctl --system

i：同步每个服务器的时间和时区

yum install ntpdate -y

ntpdate time.windows.com

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3：三台机器全部安装docker

所有机器都需安装

3.1：配置阿里云的镜像

wget http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

3.2：刷新yum源

yum clean all

yum makecache

yum -y update

3.3：安装docker

yum -y install docker-ce-18.06.1.ce-3.el7

如果之前机器上有安装过，先删除，执行

yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine

3.4：启动docker,并设为开机自启动

systemctl enable docker && systemctl start docker

4：配置kubeadm,kubelet,kubectl镜像

所有机器都需要：

kubelet：运行在集群所有节点上,负责启动POD和容器

kubeadm：用于初始化集群

kubectl：kubenetes命令行工具，通过kubectl可以部署和管理应用，查看各种资源，创建，删除和更新组件

4.1：创建yum源的文件

cat > kubernetes.repo << EOF

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

repo_gpgcheck=0

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

4.2：将文件移到yum的目录

mv kubernetes.repo /etc/yum.repos.d/

5：安装kubeadm,kubelet,kubectl

所有机器都需要：

yum install -y kubelet-1.17.0 kubeadm-1.17.0 kubectl-1.17.0

systemctl enable kubelet

6：初始化kubeadm(只在master机器上)

只执行master机器10.100.0.131：

拉取镜像

docker pull registry.aliyuncs.com/google_containers/kube-apiserver:v1.17.17
docker pull registry.aliyuncs.com/google_containers/kube-controller-manager:v1.17.17
docker pull registry.aliyuncs.com/google_containers/kube-scheduler:v1.17.17
docker pull registry.aliyuncs.com/google_containers/kube-proxy:v1.17.17
docker pull registry.aliyuncs.com/google_containers/pause:3.1
docker pull  registry.aliyuncs.com/google_containers/etcd:3.4.3-0
docker pull registry.aliyuncs.com/google_containers/coredns:1.6.5

修改镜像名称
docker tag registry.aliyuncs.com/google_containers/kube-apiserver:v1.17.17 k8s.gcr.io/kube-apiserver:v1.17.17  
docker tag registry.aliyuncs.com/google_containers/kube-controller-manager:v1.17.17 k8s.gcr.io/kube-controller-manager:v1.17.17  
docker tag registry.aliyuncs.com/google_containers/kube-scheduler:v1.17.17 k8s.gcr.io/kube-scheduler:v1.17.17 
docker tag registry.aliyuncs.com/google_containers/kube-proxy:v1.17.17 k8s.gcr.io/kube-proxy:v1.17.17  
docker tag registry.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/pause:3.1 
docker tag registry.aliyuncs.com/google_containers/etcd:3.4.3-0 k8s.gcr.io/etcd:3.4.3-0 
docker tag registry.aliyuncs.com/google_containers/coredns:1.6.5 k8s.gcr.io/coredns:v1.6.5

kubeadm init --apiserver-advertise-address=10.100.0.131 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.17.0 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16

7：将k8s生成的管理员连接k8s集群的配置文件考到它默认的工作目录

只执行master机器10.100.0.131：

这样就可以通过kubectl连接k8s集群了，执行命令：

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

测试：

kubectl get node

8：安装pod网络插件CNI

只执行master机器10.100.0.131：

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubectl get pods -n kube-system

所有组件状态都为：Running

如果节点状态为NotReady，可通过journalctl -xefu kubelet    排查具体报错问题

报错问题

104114 cni.go:237] Unable to update cni config: no valid networks found in /etc/cni/net.d

104114 kubelet.go:2183] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

解决：拷贝master节点的文件/etc/cni/net.d/10-flannel.conflist，放到node节点

9：将节点加入集群中

9.1：执行命令（在master机器上）

kubeadm token list #查看现在有的token

kubeadm token create #生成一个新的token

kubeadm token create --ttl 0 #生成一个永远不过期的token

9.2：获取ca证书sha256编码hash值（在master机器上运行）

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

9.3：加入节点（在要加入的机器上）

kubeadm join master机器Ip:6443 --token 9.1步查到没过期的token --discovery-token-ca-cert-hash sha256:9.2中获取的字符串

9.4：在master机器上执行命令，查看现在的节点情况

kubectl get nodes

可以看到，刚才加入的二个节点状态是NotReady,是因为它的网络还没有准备好,过几分钟再看，就会变成Read状态

10：部署K8s的管理页面Dashboard

10.1：在master中执行下列命令：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml

10.2：

默认Dashboard只能集群内部访问，需要修改service为nodePort类型，暴露到外部，执行命令将配置文件下载下来

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml

10.3：修改这个文件

vi recommended.yaml

找到这段，增加红包部分，冒号后面有一个空格，千万要注意

spec:

type: NodePort

ports:

- port: 443

targetPort: 8443

nodePort: 30001

selector:

k8s-app: kubernetes-dashboard

10.4：重新加载运行配置文件

kubectl apply -f recommended.yaml

11：访问k8s管理页面

https://master机器ip:30001

注意：这里必须是https的方式，如果谷哥浏览器不能访问，谷哥有的版本没有添加信任的地方，无法访问，可使用firefox或者其它浏览器。

12：创建默认service account并绑定默认cluster-admin管理员集群角色

12.1：在master机器上执行命令：

kubectl create serviceaccount dashboard-admin -n kube-system

kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

12.2：将生成的token复制到页面就可以登陆了

13：其他问题

如果想在node节点执行kubectl，需将master节点的文件分别copy到node节点

scp  /etc/kubernetes/admin.conf   10.100.0.196:/etc/kubernetes/admin.conf

scp  /etc/kubernetes/admin.conf   10.100.0.245:/etc/kubernetes/admin.conf

分别在两个node节点上配置环境变量并生效

echo export KUBECONFIG=/etc/kubernetes/admin.conf >> ~/.bash_profile

source ~/.bash_profile

然后可正常执行kubectl命令