centos7.6 kebeadm搭建Kubernetes 1.11.1集群步骤(个人踩坑总结)

1.准备虚拟机环境
安装go
修改/etc/hosts文件
将地址和主机名配置好，节点之间互相配置

保证互相能ping通

需要关闭swap分区

sudo swapoff -a
永久禁用
sudo vi /etc/fstab
把/dev/mapper/centos-swap swap这行注释掉

编写配置

vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
sysctl --system
2. 配置kubernetes yum源

vim /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=0
enable=1
cd /etc/yum.repos.d/
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum clean all
yum repolist
安装
安装kubeadm, kubelet and kubectl

yum install docker-ce kubelet-1.11.1 kubeadm-1.11.1 kubectl-1.11.1 kubernetes-cni
systemctl enable docker
systemctl enable kubelet.service
systemctl start docker
systemctl start kubelet
3.由于国内网络原因，kubernetes的镜像托管在google云上，无法直接下载，所以直接把把镜像搞下来有个技术大牛把gcr.io的镜像

每天同步到https://github.com/anjia0532/gcr.io_mirror这个站点，因此，如果需要用到gcr.io的镜像，可以执行如下的脚本进行镜像拉取

vim pullimages.sh
#!/bin/bash
images=(kube-proxy-amd64:v1.11.1 kube-scheduler-amd64:v1.11.1 kube-controller-manager-amd64:v1.11.1
kube-apiserver-amd64:v1.11.1 etcd-amd64:3.2.18 coredns:1.1.3 pause:3.1 )
for imageName in $images[@];dodockerpullanjia0532/google-containers.$imageName
docker tag anjia0532/google-containers.$imageNamek8s.gcr.io/$imageName
docker rmi anjia0532/google-containers.$imageName
done
sh pullimages.sh

或者 将下面命令放到sh脚本中，master和work节点都需要执行

docker pull mirrorgooglecontainers/kube-apiserver-amd64:v1.11.1
docker pull mirrorgooglecontainers/kube-controller-manager-amd64:v1.11.1
docker pull mirrorgooglecontainers/kube-scheduler-amd64:v1.11.1
docker pull mirrorgooglecontainers/kube-proxy-amd64:v1.11.1
docker pull mirrorgooglecontainers/pause:3.1
docker pull mirrorgooglecontainers/etcd-amd64:3.2.18
docker pull coredns/coredns:1.1.3

docker tag docker.io/mirrorgooglecontainers/kube-proxy-amd64:v1.11.1 k8s.gcr.io/kube-proxy-amd64:v1.11.1
docker tag docker.io/mirrorgooglecontainers/kube-scheduler-amd64:v1.11.1 k8s.gcr.io/kube-scheduler-amd64:v1.11.1
docker tag docker.io/mirrorgooglecontainers/kube-apiserver-amd64:v1.11.1 k8s.gcr.io/kube-apiserver-amd64:v1.11.1
docker tag docker.io/mirrorgooglecontainers/kube-controller-manager-amd64:v1.11.1 k8s.gcr.io/kube-controller-manager-amd64:v1.11.1
docker tag docker.io/mirrorgooglecontainers/etcd-amd64:3.2.18 k8s.gcr.io/etcd-amd64:3.2.18
docker tag docker.io/mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
docker tag docker.io/coredns/coredns:1.1.3 k8s.gcr.io/coredns:1.1.3
5.kubernetes集群不允许开启swap，所以我们需要忽略这个错误

vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="–fail-swap-on=false"
编写kubeadm.yaml

vim kubeadm.yaml
apiVersion: kubeadm.k8s.io/v1alpha1
kind: MasterConfiguration
controllerManagerExtraArgs:
horizontal-pod-autoscaler-use-rest-clients: “true”
horizontal-pod-autoscaler-sync-period: “10s”
node-monitor-grace-period: “10s”
apiServerExtraArgs:
runtime-config: “api/all=true”
kubernetesVersion: “v1.11.1”
kubeadm init --config kubeadm.yaml
这样就可以完成 Kubernetes Master 的部署了，这个过程只需要几分钟，部署完成后，kubeadm 会生成一行指令：

kubeadm join 10.168.0.2:6443 --token 00bwbx.uvnaa2ewjflwu1ry --discovery-token-ca-cert-hash
sha256:00eb62a2a6020f94132e3fe1ab721349bbcd3e9b94da9654cfe15f2985ebd711
4.配置kubectl与apiserver的认证

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id-u):$(id -g) $HOME/.kube/config
检查健康状态

kubectl get cs
查看节点状态

kubectl get nodes
现在，我们就可以使用 kubectl get 命令来查看当前唯一一个节点的状态了：

kubectl get nodes
部署网络插件Weave

kubectl apply -f https://git.io/weave-kube-1.6
查看

kubectl get pods -n kube-system
[root@localhost ~]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-78fcdf6894-csxpw 1/1 Running 0 27m
coredns-78fcdf6894-td848 1/1 Running 0 27m
etcd-localhost.localdomain 1/1 Running 0 26m
kube-apiserver-localhost.localdomain 1/1 Running 0 26m
kube-controller-manager-localhost.localdomain 1/1 Running 0 26m
kube-proxy-v78j8 1/1 Running 0 27m
kube-scheduler-localhost.localdomain 1/1 Running 0 26m
weave-net-vcnb6 2/2 Running 0 44s
加入污点

kubectl taint nodes --all node-role.kubernetes.io/master-
可视化插件，下载镜像

一般其他教程安装dashboard都会让输入如下命令
wget https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml
但是我的环境下不了，报404
我从https://github.com/kubernetes/dashboard/tree/v1.10.0/src/deploy/recommended/kubernetes-dashboard.yaml
下载kubernetes-dashboard.yaml文件

然后拉取镜像
docker pull anjia0532/google-containers.kubernetes-dashboard-amd64:v1.10.0
docker tag anjia0532/google-containers.kubernetes-dashboard-amd64:v1.10.0 k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.0
docker rmi anjia0532/google-containers.kubernetes-dashboard-amd64:v1.10.0

修改kubernetes-dashboard.yaml，可以直接token认证进入

kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kube-system
spec:

添加Service的type为NodePort

type: NodePort
ports:
- port: 443
targetPort: 8443
# 添加映射到虚拟机的端口,k8s只支持30000以上的端口
nodePort: 30001
selector:
k8s-app: kubernetes-dashboard

kubectl apply -f kubernetes-dashboard.yaml
看 Dashboard 对应的 Pod 的状态了

kubectl get pods -n kube-system
部署容器存储插件，下载镜像

kubectl apply -f https://raw.githubusercontent.com/rook/rook/master/cluster/examples/kubernetes/ceph/operator.yaml
要等前面的安装完后再装集群
kubectl apply -f https://raw.githubusercontent.com/rook/rook/master/cluster/examples/kubernetes/ceph/cluster.yaml
查看安装情况

kubectl get pods -n rook-ceph-system
kubectl get pods -n rook-ceph

如果过程中安装失败，需要删除集群再安装，删除方法如下：
kubectl delete -f https://raw.githubusercontent.com/rook/rook/master/cluster/examples/kubernetes/ceph/cluster.yaml

apply安装对应 卸载 delete
在删除Ceph集群后，在之前部署Ceph组件节点的**/var/lib/rook/**目录，会遗留下Ceph集群的配置信息。
若之后再部署新的Ceph集群，先把之前Ceph集群的这些信息删除，不然启动monitor会失败； 别忘了 除了删master的，还要删除work节点上面的

开启服务

nohup kubectl proxy --address=‘0.0.0.0’ --accept-hosts=’^*$’ --disable-filter=true &
获取token命令

kubectl -n kube-system describe $(kubectl -n kube-system get secret -n kube-system -o name | grep namespace) | grep token
访问dashboard

通过node节点的ip，加刚刚我们设置的nodePort就可以访问了。

https://: https://192.168.179.130:30001
如果firefox出现连接不安全的提示：
则在网页右下角Add exception，添加自己的连接https://192.168.179.130:30001
然后用上一步得到的token字符串登陆
下面是我成功的结果图

备忘：

查看全部节点

kubectl get pods --all-namespaces
查看pods

kubectl describe pod -n kube-system
查看具体问题

kubectl describe pod kubernetes-dashboard-767dc7d4d-mg5gw -n kube-system