CH01_安装方式B_kubeadm_01_for_all_nodes_20190917

一默1991

已于 2024-08-07 10:04:08 修改

阅读量4.1k

点赞数

分类专栏： kubernetes_basic 文章标签：容器负载均衡 devops 1024程序员节

于 2020-03-19 13:13:51 首次发布

本文链接：https://blog.csdn.net/wuyuezhengbian/article/details/104965122

版权

kubernetes_basic 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

官方文档地址：Kubeadm | Kubernetes

软件版本：CentOS Linux release 7.8.2003，kubernetes1.15.1/kubernetes1.19.2
安装的节点：所有master节点+node节点
建议：使用自动化运维工具ansible，编写playbook+shell脚本完成这项重复性工作

1.系统基本配置

1.1 最小化安装centos7

修改磁盘容量为100GB 不创建swap分区
设置两个网卡：1.ens34(bridge)：用于响应外部请求 2. ens33(nat)：用于访问Internet
创建新用户 k8s，用于集群的管理。添加sudo权限，vi /etc/sudoers k8s ALL=(ALL) ALL

1.2 升级内核至4.4版本(CentOS Linux release 7.8.2003安装，跳过此步)

yum install -y https://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
yum clean all && yum makecache && yum --enablerepo=elrepo-kernel list kernel-lt
yum --enablerepo=elrepo-kernel install -y kernel-lt
grub2-editenv list
设置默认启动的内核版本
ls /boot
grub2-set-default "CentOS Linux (4.4.238-1.el7.elrepo.x86_64) 7 (Core)"
grub2-editenv list
重启，检查系统当前使用内核版本是4.4
reboot
uname -r

安装内核源代码
yum --enablerepo=elrepo-kernel install -y kernel-lt-devel-$(uname -r) kernel-lt-headers-$(uname -r)

1.3 设置aliyun或163 yum软件安装源(rhel需要设置，centos不用设置)，并安装基础依赖包

vi /etc/yum.conf（keepcache=1）
yum clean all && yum makecache
yum install -y conntrack ntpdate ntp ipvsadm ipset jp iptables curl sysstat libseccomp wget vim net-tools unzip nmap tcpdump bind-utils telnet bridge-utils lsof sysstat iotop

1.4 关闭NUMA(mmm_yes,mnn_no)

[root@bogon ~]# cp /etc/default/grub{,.bak} && cp /boot/grub2/grub.cfg{,.bak}
[root@bogon ~]# vi /etc/default/grub           #添加参数 numa=off
GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet numa=off"
[root@bogon ~]# diff /etc/default/grub.bak /etc/default/grub
[root@bogon ~]# grub2-mkconfig -o /boot/grub2/grub.cfg

1.5 关闭SELinux

setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

1.6 关闭swap（kubernetes的要求，用以防止Pod运行在交换分区）

swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

1.7 关闭系统不需要的服务postfix

systemctl stop postfix && systemctl disable postfix

1.8 调整系统时区

设置系统时区为：中国/上海
timedatectl set-timezone Asia/Shanghai

将当前的UTC时间写入硬件时钟
timedatectl set-local-rtc 0

重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond

1.9 设置 rsyslogd 和 systemd journald（centos7新增的日志系统）

持久化保存日志的目录
[root@bogon ~]# mkdir /var/log/journal
[root@bogon ~]# mkdir /etc/systemd/journald.conf.d
[root@bogon ~]# cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
#最大占用空间 10G
SystemMaxUse=10G
#单日志文件最大 200M
SystemMaxFileSize=200M
#日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no
EOF

重启systemd-journald
[root@bogon ~]# systemctl restart systemd-journald

1.10 设置防火墙为 iptables 并设置iptables空规则

systemctl stop firewalld && systemctl disable firewalld
yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

1.11 调整内核的参数（根据Kubernates的要求）

[root@bogon ~]# cat > /etc/sysctl.d/kubernetes.conf << EOF
#开启网桥模式
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
#修改最大连接数  linux kernel 4.4版本以上
net.netfilter.nf_conntrack_max=2310720
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
#禁用swap分区
vm.swappiness=0
#不检查物理内存是否够用
vm.overcommit_memory=1
#开启OOM
vm.panic_on_oom=0
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
EOF

使生效
[root@bogon ~]# modprobe br_netfilter
[root@bogon ~]# sysctl -p /etc/sysctl.d/kubernetes.conf

1.12 开启ipvs（kube-proxy的前置条件）

[root@bogon ~]# cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#! /bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

[root@bogon ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

1.13 修改hosts文件

必填项：所有master节点
选填项：node节点
虚拟机下安装：备份机 ip+hostname

[root@localhost ~]# cat >> /etc/hosts <<EOF
192.168.43.101 master01
192.168.43.102 master02
192.168.43.103 master03
192.168.43.111 node01
192.168.43.112 node02
EOF

2.安装docker

注意：要先确定kubernetes支持的docker版本 k8s_1.15支持18.09.0-3 k8s_1.19支持19.03.9-3

[WARNING SystemVerification]: this Docker version is not on the list of validated versions: 19.03.7. Latest validated version: 18.09

[root@bogon ~]# yum install -y yum-utils  device-mapper-persistent-data  lvm2
[root@bogon ~]# yum-config-manager --add-repo  https://download.docker.com/linux/centos/docker-ce.repo
[root@bogon ~]# yum list docker-ce --showduplicates | sort -r
docker-ce.x86_64  3:18.09.1-3.el7                     docker-ce-stable
docker-ce.x86_64  3:18.09.0-3.el7                     docker-ce-stable
docker-ce.x86_64  18.06.1.ce-3.el7                    docker-ce-stable
docker-ce.x86_64  18.06.0.ce-3.el7                    docker-ce-stable

k8s 1.15
[root@bogon ~]# yum install -y docker-ce-18.09.0-3.el7 docker-ce-cli-18.09.0-3.el7 containerd.io
[或者版本18.06.3]# yum install -y docker-ce-18.06.3.ce-3.el7 docker-ce-cli-18.06.3.ce-3.el7 containerd.io

k8s 1.19
[root@bogon ~]# yum install -y docker-ce-19.03.9-3.el7 docker-ce-cli-19.03.9-3.el7 containerd.io

修改数据存放目录
[root@bogon ~]# rm -rf /var/lib/docker
[root@bogon ~]# mkdir -p /data/var/lib/docker
[root@bogon ~]# ln -s /data/var/lib/docker /var/lib/docker
[root@bogon ~]# systemctl start docker && systemctl enable docker

修改docker的 Cgroup Driver为systemd，与kubelet保持一致
修改docker仓库为阿里云仓库
[root@bogon ~]# mkdir /etc/docker
[root@bogon ~]# cat > /etc/docker/daemon.json <<EOF
{
        "exec-opts" : ["native.cgroupdriver=systemd"],
        "log-driver": "json-file",
         "log-opts":{
                 "max-size":"100m"
        },
        "insecure-registries": [
                 "registry.bizsaas.net"
        ]
}
EOF

创建目录，存放docker配置文件，并重启docker服务
[root@bogon ~]# mkdir -p /etc/systemd/system/docker.service.d
[root@bogon ~]# systemctl daemon-reload && systemctl restart docker && systemctl enable docker
[root@bogon ~]# docker info

其他：重新加载配置 /etc/docker/daemon.json
[root@bogon ~]# systemctl reload docker

3.安装kubernetes二进制组件

3.1 安装 kubeadm、kubelet和kubectl

[root@bogon ~]# cat > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

查看仓库支持的版本信息
[root@localhost ~]# yum list kubeadm --showduplicates | sort -r

k8s 1.15.1
[root@bogon ~]# yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
k8s 1.15.6
[root@bogon ~]# yum -y install kubeadm-1.15.6 kubectl-1.15.6 kubelet-1.15.6
k8s 1.19.14
[root@bogon ~]# yum install -y kubeadm-1.19.14-0 kubelet-1.19.14-0 kubectl-1.19.14-0

[root@bogon ~]# systemctl enable kubelet.service

3.2 替换可执行文件kubeadm

使用kubeadm方式安装集群，api server证书默认有效期只有一年。
可通过修改源码的方式来修改证书有效期。
参考《kubernetes_01_kubeadm方式安装_02_apiserver证书默认有效期修改_kubeadm重新编译_20191023》
CH01_安装方式B_kubeadm_02_apiserver证书默认有效期修改_kubeadm重新编译_20191023_wuyuezhengbian的专栏-CSDN博客

3.3 导入kubeadm初始化所需的镜像（`建议使用阿里云镜像仓库，跳过此步骤）`

k8s默认镜像仓库imageRepository: k8s.gcr.io，下载速度很慢或者无法下载，所以需要事先下载，此处已打包至kubeadm-basic.images.tar.gz,上传至该目录 /root/k8s_install

[root@bogon ~]# mkdir /root/k8s_install
[root@bogon ~]# tar -zxvf /root/k8s_install/kubeadm-basic.images.tar.gz
[root@bogon ~]# vim /root/k8s_install/load-images.sh
#!/bin/bash
cd /root/k8s-install/kubeadm-basic.images/
ls /root/k8s-install/kubeadm-basic.images/ | grep -v load-images.sh > /tmp/k8s-images.txt
for i in $( cat /tmp/k8s-images.txt )
do
        docker load -i $i
done
rm -rf /tmp/k8s-images.txt

[root@bogon ~]# sh /root/k8s_install/load-images.sh
[root@bogon ~]# docker images

3.4 关闭kubernetes工作网络网卡ens34以外的所有网卡

ip a
ifdown ens33
cp /etc/sysconfig/network-scripts/ifcfg-ens33{,.bakup} && sed -i 's/^ONBOOT=.*/ONBOOT="no"/' /etc/sysconfig/network-scripts/ifcfg-ens33

4.至此公共部分已经完成

4.1 虚拟机下安装，克隆节点（非虚拟机下安装跳过该步，直接设置各个节点的 hostname即可）

shutdown -h now
原主机作为备份机，克隆3个master节点+2~n个node节点，修改网卡mac。一台一台配置
ifconfig
vim /etc/sysconfig/network-scripts/ifcfg-ens34
hostnamectl set-hostname master01
reboot
hostname

4.2 修改ens34的ip静态地址

[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens34
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens34
UUID=ac8ecc9e-d7f4-4498-aa5b-589e0b1afb90
DEVICE=ens34
ONBOOT=yes
IPADDR=192.168.43.15
PREFIX=24
GATEWAY=192.168.43.1
DNS1=192.168.43.1