一、环境准备
1、机器环境
节点CPU核数必须是∶>=2核,否则k8s无法启动。
DNS网络∶最好设置为本地网络连通的DNS,否则网络不通,无法下载一些镜像
linux内核:linux内核必须是4版本以上,因此必须把linlix核心进行升级
准备3台虚拟机环境,或者是3台阿里云服务器都可。
k8s-master01:(192.168.23.30)此机器用来安装k8s-master的操作环境
k8s-node01:(192.168.23.31)此机器用来安装k8s node节点的环境
k8s-node02:(192.168.23.32)此机器用来安装k8s node节点的环境
2、依赖环境
#1、给每一台机器设置主机名
hostnamectl set-hostname k8s-master01
hostnamectl set-hostname k8s-node01
hostnamect1 set-hostname k8s-node02
#查看主机名
hostname
#配置Ip host映射关系
vi /etc/hosts
192.168.23.30 k8s-master01
192.168.23.31 k8s-node01
192.168.23.32 k8s-node02
#2、安装依赖环境,注意:每一台机器都需要安装此依赖环境
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git iproute lrzsz bash-completion tree bridge-utils unzip bind-utils gcc
#3、安装iptables,启动iptables,设置开机自启,清空iptables规则,保存当前规则到默认规则
#关闭防火墙
systemctl stop firewalld && systemctl disable firewalld
#置空iptables
yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save
#4、关闭selinux
#关闭swap分区[虚拟内存]并且永久关闭虚拟内存
swapoff -a && sed -i '/ swap / s/^\(. *\)$/#\1/g' /etc/fstab
#关闭selinux
setenforce 0 && sed -i 's/^SELINUX=. */SEL INUX=disabled/' /etc/selinux/config
#5、升级Linux内核为4. 44版本
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
#安装内核
yum --enablerepo=elrepo-kernel install -y kernel-lt
#设置开机从新内核启动
grub2-set-default 'Centos Linux (4. 4.189-1.e17.e1repo.x86_ 64) 7 (Core)'
#注意:设置完内核后,需要重启服务器才会生效。
#查询内核
uname -r
#重启
reboot
#6、调整内核参数,对于k8s
cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max__user_instances=8192
fs.inotify.max__user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
#将优化内核文件拷贝到/etc/sysctl.d/文件夹下,这样优化文件开机的时候能够被调用
cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
#手动刷新,让优化文件立即生效,报错可忽略
sysctl -p /etc/sysctl.d/kubernetes.conf
#7、调整系统临时区---如果已经设嚣时区,可略过
#设置系统时区为中国/上海
timedatectl set-timezone Asia/Shanghai
#将当前的UTC时间与入硬件时钟
timedatectl set-local-rtc 0
#重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond
#7、关闭系统不需要的服务
systemctl stop postfix && systemctl disable postfix
#8、设置日志保存方式
#1)创建保存日志的目录
mkdir /var/log/journal
#2)创建配置文件存放目录
mkdir /etc/systemd/journald.conf.d
#3)创建配置文件
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
storage=persistent
Compress=yes
syncIntervalsec=5m
RateLimitInterval=30s
RatelimitBurst=1000
SystemMaxUse=10G
SystemMaxFilesize=200M
MaxRetentionsec=2week
ForwardTosyslog=no
EOF
#4).重启systemd journald的配蓄
systemctl restart systemd-journald
#9、打开文件数调整(可忽略,不执行)
echo "* soft nofile 65536" >>/etc/security/limits.conf
echo "* hard nofile 65536" >>/etc/security/limits.conf
10、kube-proxy开启ipvs前置条件
modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
##使用lsmod命令查看这些文件是否被引导
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
3、docker部署
#1、安装docker
yum install -y yum-utils device-mapper-persistent-data lvm2
#紧接着配置一个稳定(stable〉的仓库、仓库配置会保存到/etc/yum.repos.d/docker-ce.r epo文件中
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
#更新Yum安装的相关Docke软件包&安装Docker-ce
yum update -y && yum install docker-ce
#2、设置docker daemon文件
#创建/etc/docker目录
mkdir /etc/docker
#更新daemon.json文件
cat > /etc/docker/daemon.json <<EOF
{"exec-opts":["native.cgroupdriver=systemd""],"log-driver": "json-file","log-opts":{ "max-size":"100m"}}
EOF
#注意:一定注意编码问题,出现错误:查看命令:journalctl -amu docker 即可发现错误
#创建,存储docker配置文件
mkdir -p /etc/systemd/system/docker.service.d
#3、重启docker服务&&开启自启动
systemctl daemon-reload && systemctl restart docker && systemctl enable docker
#4、由于使用DockerHub,拉取镜像较慢,推荐使用阿里云或网易云镜像,这里使用的是阿里云镜像
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://km2dy41r.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
4、kubeadm[一键安装k8s很多软件,无需一个一个安装,比如etcd]
#1、安装kubernetes的时候,需要安装kubelet,kubeadm等包,但k8s官网给的yum源是 packages.cloud.google.com,国内访问不了,此时我们可以使用阿里云的yum仓库镜像。
cat >/etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
#2、安装kubeadm、kubelet、kubect1
yum install -y kubeadm-1.15.1 kubelet-1.15.1 kubect1-1.15.1
#启动kubelet并且开机启动
systemctl enable kubelet && systemctl start kubelet
#3、校验是否安装成功
kubectl --help
二、集群安装
资源下载
后面用到的资源:docker-compose、harbor-offline-installer-v1.2.0.tgz、kubeadm-basic.images.tar.gz、kube-flannel.yml、flanneld-v0.12.0-amd64.docker,我已经上传至百度云盘,有需要的朋友可以去下载。地址:
链接: https://pan.baidu.com/s/1mH814rCJYPTcfVUtsXRjrQ 提取码: n2t3
1、依赖镜像
上传《kubeadm-basic.images.tar.gz》镜像压缩包到 k8s-master01,把压缩包中的镜像导入到本地镜像仓库。
# kubeadm初始化k8s集群的时候,会从gce Google云中下载(pu11)相应的镜像,且镜像相对比较大,下载比较慢,且需要解决科学上网的一个问题,国内上goole,懂得.
#1、编写批量 导入镜像脚本代码《在任意目录下创建sh脚本文件:image-load.sh)
sudo tee ~/image-load.sh <<-'EOF'
#!/bin/bash
#注意镜像解压的目录位置T
ls /root/kubeadm-basic.images > /tmp/images-list.txt
cd /root/kubeadm-basic.images
for i in $(cat /tmp/images-list.txt)
do
docker load -i $i
done
rm -rf /tmp/images-list.txt
EOF
#2、修改权限,可执行权限
chmod 755 ~/image-load.sh
#3、开始执行,镜像导入
sh ~/image-load.sh
#4、传输文件及镜像到其他node节点
cd ~
#拷贝到node01节点
scp -r image-load.sh kubeadm-basic.images root@k8s-node01:/root/
#拷贝到node02节点
scp -r image-load.sh kubeadm-basic.images root@k8s-node02:/root/
#其他节点依次执行sh脚本,导入镜像
导入成功本地仓库后,如下图所示:
2、k8s部署
#初始化主节点---只需要在主节点执行
#1、拉取yaml资源配置文件
kubeadm config print init-defaults > kubeadm-config.yaml
#2、修改yaml资源文件
localAPIEndpoint:
advertiseAddress: 192.168.23.30 #修改。注意:修改配置文件的IP地址
kubernetesVersion: v1.15.1 #修改。注意:修改版本号,必须和kubectl版本保持一致
networking:
#指定flannel模型通信pod网段地址,此网段和flannel网段一致
podSubnet: "10.244.0.0/16" # 新增。此网段不能更改
serviceSubnet: "10.96.0.0/12"
#以下内容在末尾处新增。指定使用ipvs网络进行通信
---
apiversion: kubeproxy.config.k8s.io/v1alpha1
kind: kubeProxyconfiguration
featureGates:
SupportIPVSProxyMode: true
mode: ipvs
#3、初始化主节点,开始部署
kubeadm init --config=/root/kubeadm-config.yaml --experimental-upload-certs | tee /root/kubeadm-init.log
#注意:执行此命令,CPU核心数量必须大于1核,否则无法执行成功
我们发现已经可以成功查询node节点信息了,但是节点的状态却是NotReady,不是Runing的状态。原因是此时我们使用ipvs+flannel的方式进行网络通信,但是flannel网络插件还没有部署,因此节点状态此时为NotReady。
3、flannel插件
#部署flannel网络插件---只需要在主节点执行
#方式一(手动上传固定的yaml文件和flannel docker文件,建议):
# 上传之前百度网盘下载的kube-flannel.yml文件和flanneld-v0.12.0-amd64.docker文件。
docker load < flanneld-v0.12.0-amd64.docker
kubectl create -f kube-flannel.yml
#检测系统pod是否都启动完成,如果存在失败的,尝试kubectl delete pod --all -n kube-system重启解决
kubectl get pod -n kube-system
#方式二(通过网络下载最新yaml文件,不可控因素太多,不建议):
#1、下载flannel网络插件
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
#2、修改下载的kube-flannel.yml文件中的quay.io为quay-mirror.qiniu.com
#3、部署flannel
kubectl create -f kube-flannel.yml
#方式三,也可进行部署网络。效果同 方式二
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
4、节点join
在k8s-node01和k8s-node02节点上执行:
kubeadm join 192.168.23.30:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:3d9cada63cd8ca6af95f1736e2738994a767f26e626b2f3bd5687a8479185671
即可加入k8s集群中。
到此,k8s集群搭建完成。
其他指令
过程使用到的命令,未出现的:
-
kubectl logs kube-flannel-ds-djr26 -n kube-system #查询pod=kube-flannel-ds-djr26的报错日志
-
kubectl --help 查看所有指令