基于CentOS7的k8s集群部署

创建设备

在VMware创建三个虚拟机分别为

都如图所示配置

配置ip地址

更改BOOTPROTO为static
并在下面添加如下红框

将三个都如图所配置
IPADDR分别是：
192.168.66.10
192.168.66.20
192.168.66.21

网络配置成功后
连接xshell
如果期间报错：

下载 xorg-x11-xauth 的rpm包即可解决

 yum install xorg-x11-xauth

设置系统主机名

修稿 Host 文件的相互解析

vi /etc/hosts

添加三行

并拷贝到另两个虚拟机中

scp /etc/hosts root@k8s-node01:/etc/hosts
scp /etc/hosts root@k8s-node02:/etc/hosts

安装依赖包

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wgetvimnet-tools git

在每个节点下安装

设置防火墙为 Iptables 并设置空规则

systemctl  stop firewalld  &&  systemctl  disable firewalld

yum -y install iptables-services  &&  systemctl  start iptables  &&  systemctl  enable iptables&&  iptables -F  &&  service iptables save

关闭 SELINUX

关闭虚拟内存，防止pod在虚拟内存中运行，会大大降低工作效率

swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

调整内核参数，对于 K8S

cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1//开启网桥模式
net.bridge.bridge-nf-call-ip6tables=1//开启网桥模式
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1//关闭ipv6协议
net.netfilter.nf_conntrack_max=2310720
EOF
cp kubernetes.conf  /etc/sysctl.d/kubernetes.conf//拷贝
sysctl -p /etc/sysctl.d/kubernetes.conf//刷新使其立即生效

设置 rsyslogd 和 systemd journald

每个节点都需要执行，因为centos7的引导方式改为了systemd，所以在centos7中就有两个日志系统，这里我们配置使用

mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent

# 压缩历史日志
Compress=yes

SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000

# 最大占用空间 10G
SystemMaxUse=10G

# 单日志文件最大 200M
SystemMaxFileSize=200M

# 日志保存时间 2 周
MaxRetentionSec=2week

# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
systemctl restart systemd-journald

升级系统内核

CentOS 7.x 系统自带的3.10.x内核存在一些bugs，导致运行的Docker、k8s不稳定，因此我们需要将内核升级到4.44版本

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装一次！

yum --enablerepo=elrepo-kernel install -y kernel-lt

设置开机从新内核启动

grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'

kube-proxy开启ipvs的前置条件

加载netfilter模块

modprobe br_netfilter

引导相关依赖

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

执行文件

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules &&lsmod | grep -e ip_vs -e nf_conntrack_ipv4

引导成功

安装docker

安装docker依赖

yum install -y yum-utils device-mapper-persistent-data lvm2

导入阿里云镜像仓库

yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装更新系统及docker ce

yum update -y && yum install -y docker-ce

更新完之后系统会回到之前的版本，再设置一次从新内核启动并重启

若重启后还是旧内核，可以从虚拟器重启的时候选择新内核进入

打开docker并设置开机自启：

systemctl start docker
systemctl enable docker

配置 daemon

cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  }
}
EOF

创建目录存放docker配置文件

mkdir -p /etc/systemd/system/docker.service.d

重启docker服务

systemctl daemon-reload && systemctl restart docker && systemctl enable docker

安装 Kubeadm （主从配置）

添加

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

然后在每一个节点安装kubeadm，kubectl，kubelet

yum -y  install  kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1

设置kubelet开机自启

systemctl enable kubelet.service

初始化主节点

显示init默认的初始化文件，并把它打印出来，打印到kubeadm-config.yaml文件中

kubeadm config print init-defaults > kubeadm-config.yaml

然后编辑kubeadm-config.yaml

vim kubeadm-config.yaml

按下图所示修改

localAPIEndpoint:   
  advertiseAddress: 192.168.66.10    
kubernetesVersion: v1.15.1
networking:      
  podSubnet: "10.244.0.0/16"      
  serviceSubnet: 10.96.0.0/12    
---    
apiVersion: kubeproxy.config.k8s.io/v1alpha1    
kind: KubeProxyConfiguration    
featureGates:      
  SupportIPVSProxyMode: true    
mode: ipvs

然后指定目录进行初始化安装

kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log

发现报错

说是docker版本太高
用以下方法下载docker指定版本

yum install docker-ce-18.09.8.ce-3.el7

如果还不行
直接添加

--ignore-preflight-errors=all

初始化完成之后创建一个./kube的目录

mkdir -p $HOME/.kube

其中保存的是我们的连接配置
接着保存我们集群的管理员配置文件到这个目录下

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

然后授予权限

sudo chown $(id -u):$(id -g) $HOME/.kube/config

也可以复制到node节点进行相同配置

scp -r /etc/kubernetes/admin.conf root@k8s-node01:/etc/kubernetes/

这样我们的kubectl就可以用了，输入

kubectl  get node

即可以看到当前有哪些节点

可以看到只有一个master01且是NotReady状态，于是我们接着先去配置网络。

部署网络

部署之前先创建一个install-k8s
并把init日志和kubeadm配置文件放入其中

mkdir install-k8s
mv kubeadm-init.log kubeadm-config.yaml install-k8s/

然后在install-k8s中创建一个core核心，并把文件都放入其中

mkdir core
mv * core/

再创建一个plugin

mkdir plugin

在其中创建一个flannel

mkdir flannel

然后wget yaml文件

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kube-flannel.yml 文件下载不了的是因为网站被墙了，建议在/etc/hosts文件添加一条 199.232.68.133 raw.githubusercontent.com 就可以正常下载了。
下载完成后创建并查看

kubectl  create -f kube-flannel.yml
kubectl  get pod -n kube-system

启动失败
检查之前命令没有问题后，查看连接的kube-flannel.yml，发现里面有

quay.io/coreos/flannel:v0.11.0-arm64
这种镜像，访问不到quay.io，被墙了。

拷贝kube-flannel.yml内容到本地文件。

然后替换了所有quay.io为quay-mirror.qiniu.com

再

kubectl apply -f kube-flannel.yml

然后我发现quay-mirror.qiniu.com也进不去，只好手动下载
flanneld-v0.12.0-amd64.docker


下载成功后

docker load < flanneld-v0.12.0-amd64.docker

即可
然后再次

kubectl apply -f kube-flannel.yml

启动成功
查看

kubectl get node

STATUS Ready
这时候可以查看ifconfig

多了flannel的网络模块

加入子节点

打开日志

vim kubeadm-init-log

复制下面的命令并在两个子节点下执行

kubeadm join 192.168.66.10:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:f65401a67b6fbd059b38205662428ea717cf994f827c716a058dc1386a2b744f

执行完毕后查看

子节点加入成功
但是处于NotReady状态
只好再次只好手动下载flanneld-v0.12.0-amd64.docker
到两个子节点
加载完后再次查看

成功

至此k8s集群就布置完毕了

最后可以将install-k8s放在usr中妥善保管

mv install-k8s/ /usr/local/