k8s V1.15.1 master节点的搭建

由于试验硬件设施的关系，本次试验一共有三台机器，一台centos7，两台Ubuntu18.04。没有能够做到系统一致，但是两台Ubuntu的环境以及内核是完全相同的，在本次实验中我把centos7的机子当做master，而两台Ubuntu当做了node节点。首先我们先来看一下master的环境搭建：

1.部署前的准备工作

• 一切的操作都应该从更换源开始(centos更换yum源，Ubuntu更换apt源)

  • master是centos系统，应该更换yum源，首先查看源是否已经被更改过：

  cat /etc/yum.repos.d/CentOS-Base.repo
  

  如果打印出来的不是aliyun或者163之类的就应该需要更换源。

  • 更换yum的源(避免出错可以将这个文件先备份，这里是直接替换了):

  wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
  

  • 运行yum makecache命令生成yum缓存
  • 运行yum update -y(-y的意思是后面需要输入y确认的地方，直接执行了)，这里完成之后你就可以下载到一些版本比较高的资源。

• 设置系统主机名称以及Host文件的相互解析(这里将master命名为k8s-master01)：

hostnamectl set-hostname k8s-master01 

• 修改hosts文件，使得这三台机器可以可以解析主机

vim /etc/hosts

在最后面加上这三台主机的主机名以及IP地址(按照你自己的主机IP填写)：

10.1.21.152 k8s-master
10.1.21.39 k8s-node01
10.1.21.40 k8s-node02

• 安装一些依赖包：

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git

• 设置防火墙为Iptables并设置规则为空：

systemctl stop firewalld && systemctl disable firewalld

yum -y install iptables-services && systemctl start iptables && systemctl enable iptables 
&& iptables -F && service iptables save

• 关闭SELINUX和swap分区：

swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

• 注意三台主机的时区和时间调成一致：

  • 查看当前主机的时区和时间(红框内+8是代表东8区)：

  date -R
  

  
  • 如果时区不对需要修改对应的时区
  • 修改时区看这里
• 关闭系统不需要的服务：

systemctl stop postfix && systemctl disable postfix

• 设置rsyslogd和systemd journald

mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间 10G
SystemMaxUse=10G
# 单日志文件最大 200M
SystemMaxFileSize=200M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
systemctl restart systemd-journald

2.安装必备组件

• 开启ipvs的前置条件(kube-proxy相关)

modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules &&
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

• 安装docker软件

  • 准备工作：

  apt-get -y autoremove docker docker-engine docker.io docker-ce
  apt-get update -y
  apt-get install -y \
      apt-transport-https \
      ca-certificates \
      curl \
      software-properties-common
  apt-get vim net-tools                                                                                                     
  curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
  add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
  apt-get update -y
  
  # docker源加速
  mkdir -p /etc/docker
  echo '{"registry-mirrors":["https://vds6zmad.mirror.aliyuncs.com"]}' > /etc/docker/daemon.json
  

  • 这里如果版本没有选择正确的话，是会影响到后面k8s的初始化的。第一次操作时，因为docker的版本是19.03，这个版本和我们要安装的k8s V1.15.1并不兼容，版本过高、所以这里介绍安装指定版本的docker。
  • 安装docker有困难看这里
  • 安装了18.03.0-ce这个版本，目前没有发现错误，目测可以选版本再高一点的
  • 设置docker自启动：

  # 启动和自启动
  systemctl start docker
  systemctl enable docker
  

3.安装k8s

• 准备工作

## 创建 /etc/docker 目录
mkdir /etc/docker
# 配置 daemon.
cat > /etc/docker/daemon.json <<EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
}
}
EOF
mkdir -p /etc/systemd/system/docker.service.d
# 重启docker服务
systemctl daemon-reload && systemctl restart docker && systemctl enable docker

• 安装

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
systemctl enable kubelet.service

• 初始化master节点：

  • 生成初始化配置文件：

  kubeadm config print init-defaults > kubeadm-config.yaml
  

  • 对配置文件进行修改，主要是修改 advertiseAddress 为服务器的ip，修改 kubernetesVersion: v1.15.1，在networking标签下加入属性：

  podSubnet: "10.244.0.0/16"
  # 加入这行，在init的时候就不需要指定对应内容
  

  • 最后面加入如下配置：

  ---
  apiVersion: kubeproxy.config.k8s.io/v1alpha1
  kind: KubeProxyConfiguration
  featureGates:
  SupportIPVSProxyMode: true
  mode: ipvs
  

  • 综上需要修改的地方：

  localAPIEndpoint:
  advertiseAddress: 192.168.66.10
  kubernetesVersion: v1.15.1
  networking:
  podSubnet: "10.244.0.0/16"
  serviceSubnet: 10.96.0.0/12
  ---
  apiVersion: kubeproxy.config.k8s.io/v1alpha1
  kind: KubeProxyConfiguration
  featureGates:
  SupportIPVSProxyMode: true
  mode: ipvs
  

• 下载镜像(此处略)

• 初始化master节点：

kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
# --experimental-upload-certs代表证书相关，这里可以不加
# tee kubeadm-init.log代表写入日志

4.部署flannel网络

• 首先下载flannel模板：

wget  https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

• 应用网络：

kubectl apply -f ./kube-flannel.yml

5.查看master节点是否就绪

kubectl get node

如果未就绪可以查看对应的pod状态，寻找失败原因（那个pod大概长这样，我这里加入了2个node所以有3个）：

kubectl get pod -n kube-system

参考的视频和文档