k8s 搭建（整理）

参考网址：https://www.kubernetes.org.cn/5462.html

kubeadm安装Kubernetes 1.14最佳实践

在xshell上登入服务器。

**

一。主机（环境配置）

**

1.设置主机名hostname，管理节点设置主机名为 master 。

hostnamectl set-hostname master

需要设置其他主机名称时，可将 master 替换为正确的主机名node1、node2即可。

2.编辑 /etc/hosts 文件，添加域名解析。（注意前面是master的ip）

cat <<EOF >>/etc/hosts

10.10.10.10 master

EOF

3.关闭防火墙、selinux和swap。

systemctl stop firewalld

systemctl disable firewalld

setenforce 0

sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

swapoff -a

sed -i 's/.*swap.*/#&/' /etc/fstab

4.配置内核参数，将桥接的IPv4流量传递到iptables的链

cat > /etc/sysctl.d/k8s.conf <<EOF

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

EOF

sysctl --system

5.配置国内yum源

yum install -y wget

mkdir /etc/yum.repos.d/bak && mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repo

wget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repo

yum clean all && yum makecache

配置国内Kubernetes源（这个貌似是阿里的）

cat <<EOF > /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/

enabled=1

gpgcheck=1

repo_gpgcheck=1

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

配置 docker 源

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

二。主机（软件安装）

1.安装docker

（1）先卸载之前的（如果有的话）

yum remove docker-client.x86_64 docker-common.x86_64 -y

（2）安装

yum install -y docker-ce-18.06.1.ce-3.el7

systemctl enable docker && systemctl start docker

docker –version

docker version 18.06.1-ce, build e68fc7a

docker服务为容器运行提供计算资源，是所有容器运行的基本平台。

2.安装kubeadm、kubelet、kubectl

（1）先卸载之前的（如果有的话）

yum -y remove kubelet

（2）安装

yum install -y kubeadm-1.15.0-0 kubelet-1.15.0-0 kubectl-1.15.0-0 --disableexcludes=kubernetes

三。换个服务器配置成节点。（这是第一个，第二个同第一个，只是名字和ip不同而已，基本的步骤大致跟主机一样）

设置主机名node1:

hostnamectl set-hostname node1

编辑 /etc/hosts 文件，添加域名解析:(注意前面的是第一个节点的ip)

cat <<EOF >>/etc/hosts

10.10.10.11 node1

EOF

以下几个步骤跟主机上的指令一样
关闭防火墙、selinux和swap。
配置内核参数，将桥接的IPv4流量传递到iptables的链
配置国内yum源
配置国内Kubernetes源
配置 docker 源
软件安装

四、部署master 节点（主机）

按照前面的方法，假设已经配置成功了一个主机master，一个节点node1，一个节点node2。ip分别为10.10.10.10，10.10.10.11，10.10.10.12

1.在master进行Kubernetes集群初始化。

注意改pod的网段和ip

kubeadm init --pod-network-cidr=172.16.0.0/16 --apiserver-advertise-address=10.10.10.10 --ignore-preflight-errors=all

这个时候可能会报错，执行：

docker pull mirrorgooglecontainers/kube-apiserver:v1.15.0
docker pull mirrorgooglecontainers/kube-controller-manager:v1.15.0
docker pull mirrorgooglecontainers/kube-scheduler:v1.15.0
docker pull mirrorgooglecontainers/kube-proxy:v1.15.0
docker pull mirrorgooglecontainers/pause:3.1
docker pull mirrorgooglecontainers/etcd:3.2.24
docker pull coredns/coredns:1.3.1

改tag标签：

docker tag mirrorgooglecontainers/kube-proxy:v1.15.0 k8s.gcr.io/kube-proxy:v1.15.0
docker tag mirrorgooglecontainers/kube-apiserver:v1.15.0 k8s.gcr.io/kube-apiserver:v1.15.0
docker tag mirrorgooglecontainers/kube-controller-manager:v1.15.0 k8s.gcr.io/kube-controller-manager:v1.15.0
docker tag mirrorgooglecontainers/kube-scheduler:v1.15.0 k8s.gcr.io/kube-scheduler:v1.15.0
docker tag pmirrorgooglecontainers/etcd:3.2.24 k8s.gcr.io/etcd:3.2.10
docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
docker tag mirrorgooglecontainers/etcd:3.2.24 k8s.gcr.io/etcd:3.3.10

然后再执行这一句就可以了:

kubeadm init --pod-network-cidr=172.16.0.0/16 --apiserver-advertise-address=10.10.10.10 --ignore-preflight-errors=all

执行成功了会返回类似如下的东西：

kubeadm join 192.168.105.65:6443 --token m4z9vw.kt0p3sbcd090ntg5 --discovery-token-ca-cert-hash sha256:7598b4993ca6c938f66e2ada670036a10f1bc252fc1bfa3d42e413da4fbf8dad

这个要记住，后面加节点的时候要用。

这一部分的详细解释如下：

kubeadm init --kubernetes-version=1.14.2 \

--apiserver-advertise-address=10.10.10.10 \

--image-repository registry.aliyuncs.com/google_containers \

--service-cidr=10.1.0.0/16 \

--pod-network-cidr=10.244.0.0/16

定义POD的网段为: 10.244.0.0/16（根据实际更改）， api server地址就是master本机IP地址。

这一步很关键，由于kubeadm 默认从官网k8s.grc.io下载所需镜像，国内无法访问，因此需要通过–image-repository指定阿里云镜像仓库地址，很多新手初次部署都卡在此环节无法进行后续配置。

集群初始化成功后返回如下信息：

记录生成的最后部分内容，此内容需要在其它节点加入Kubernetes集群时执行。

kubeadm join 10.10.10.10:6443 --token kekvgu.nw1n76h84f4camj6 \

--discovery-token-ca-cert-hash sha256:4ee74205227c78ca62f2d641635afa4d50e6634acfaa8291f28582c7e3b0e30e

2.配置kubectl工具

mkdir -p /root/.kube

cp /etc/kubernetes/admin.conf /root/.kube/config

kubectl get nodes

kubectl get cs

3.部署flannel网络

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

五。部署node1节点（node2一样的）

注：在所有node节点上进行如下操作

node节点也需要跑镜像：

docker pull mirrorgooglecontainers/kube-apiserver:v1.15.0
docker pull mirrorgooglecontainers/kube-controller-manager:v1.15.0
docker pull mirrorgooglecontainers/kube-scheduler:v1.15.0
docker pull mirrorgooglecontainers/kube-proxy:v1.15.0
docker pull mirrorgooglecontainers/pause:3.1
docker pull mirrorgooglecontainers/etcd:3.2.24
docker pull coredns/coredns:1.3.1

改tag标签：

docker tag mirrorgooglecontainers/kube-proxy:v1.15.0 k8s.gcr.io/kube-proxy:v1.15.0
docker tag mirrorgooglecontainers/kube-apiserver:v1.15.0 k8s.gcr.io/kube-apiserver:v1.15.0
docker tag mirrorgooglecontainers/kube-controller-manager:v1.15.0 k8s.gcr.io/kube-controller-manager:v1.15.0
docker tag mirrorgooglecontainers/kube-scheduler:v1.15.0 k8s.gcr.io/kube-scheduler:v1.15.0
docker tag pmirrorgooglecontainers/etcd:3.2.24 k8s.gcr.io/etcd:3.2.10
docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
docker tag mirrorgooglecontainers/etcd:3.2.24 k8s.gcr.io/etcd:3.3.10

执行如下命令，使所有node节点加入Kubernetes集群

kubeadm join 10.10.10.10:6443 --token kekvgu.nw1n76h84f4camj6 \

--discovery-token-ca-cert-hash sha256:4ee74205227c78ca62f2d641635afa4d50e6634acfaa8291f28582c7e3b0e30e

此命令为集群初始化时（kubeadm init）返回结果中的内容。

六、集群状态检测

注：在master节点上进行如下操作

1.在master节点输入命令检查集群状态，返回如下结果则集群状态正常。

kubectl get nodes

NAME STATUS ROLES AGE VERSION

master Ready master 26m v1.14.2

node1 Ready 3m10s v1.14.2

node2 Ready 3m v1.14.2
重点查看STATUS内容为Ready时，则说明集群状态正常。

如果状态是notready：

（1）执行：

sudo mkdir -p /etc/cni/net.d

（2）配置网络：

sudo cat > /etc/cni/net.d/10-flannel.conflist <<EOF
 {
     "name": "cbr0",
     "plugins": [
         {
             "type": "flannel",
             "delegate": {
                 "hairpinMode": true,
                 "isDefaultGateway": true
             }
         },
         {
             "type": "portmap",
             "capabilities": {
                 "portMappings": true
             }
         }
     ]
 }
 EOF

然后ctrl+c退出。

（3）重启docker和daemon

systemctl daemon-reload
systemctl restart docker

（4）再查看状态应该就对了。

kubectl get nodes

2.创建Pod以验证集群是否正常。

kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get pod,svc

七、部署Dashboard

注：在master节点上进行如下操作

1.创建Dashboard的yaml文件

wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
sed -i 's/k8s.gcr.io/loveone/g' kubernetes-dashboard.yaml

sed -i '/targetPort:/a\ \ \ \ \ \ nodePort: 30001\n\ \ type: NodePort' kubernetes-dashboard.yaml

2.部署Dashboard

kubectl create -f kubernetes-dashboard.yaml

3.创建完成后，检查相关服务运行状态

kubectl get deployment kubernetes-dashboard -n kube-system

kubectl get pods -n kube-system -o wide

kubectl get services -n kube-system

netstat -ntlp|grep 30001

4.在Firefox浏览器输入Dashboard访问地址：https://10.10.10.10:30001

5.查看访问Dashboard的认证令牌

kubectl create serviceaccount  dashboard-admin -n kube-system
kubectl create clusterrolebinding  dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

6.使用输出的token登录Dashboard。

认证通过后，登录Dashboard首页如图

ps:

master node参与工作负载 (只在主节点执行)（表现为上面三个绿色的圆圈显示为红色的）
使用kubeadm初始化的集群，出于安全考虑Pod不会被调度到Master Node上，也就是说Master Node不参与工作负载。

这里搭建的是测试环境可以使用下面的命令使Master Node参与工作负载：
k8s是master节点的hostname
允许master节点部署pod，使用命令如下:

kubectl taint nodes --all node-role.kubernetes.io/master-

输出如下:

node “k8s” untainted

输出error: taint “node-role.kubernetes.io/master:” not found错误忽略。

此时刷新界面，三个圆就变为绿色了。

禁止master部署pod

kubectl taint nodes k8s node-role.kubernetes.io/master=true:NoSchedule