k8s集群之容器方式部署

容器方式部署k8s集群

初始化系统

1. 环境
   k8s1 192.168.138.162 k8s2 192.168.138.163
   k8s3 192.168.138.164
2. 设置系统主机名以及 Host 文件的相互解析
   分别给三台主机设置主机名为：k8s1、k8s2、k8s3
   添加三台主机hosts相互解析vim /etc/hosts
   192.168.138.162 k8s1
   192.168.138.163 k8s2
   192.168.138.164 k8s3
3. 安装依赖包和常用工具
   yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git
4. 设置防火墙为 Iptables 并设置空规则
   systemctl stop firewalld && systemctl disable firewalld yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save
5. 关闭selinux和交换分区
   swapoff -a && sed -i ‘/ swap / s/^(.)$/#\1/g’ /etc/fstab
   setenforce 0
   && sed -i 's/^SELINUX=./SELINUX=disabled/’ /etc/selinux/config
6. 调整内核参数，对于 K8S
   vim kubernetes.conf
   net.bridge.bridge-nf-call-iptables=1
   net.bridge.bridge-nf-call-ip6tables=1
   net.ipv4.ip_forward=1
   net.ipv4.tcp_tw_recycle=0
   vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
   vm.overcommit_memory=1 # 不检查物理内存是否够用
   vm.panic_on_oom=0 # 开启 OOM
   fs.inotify.max_user_instances=8192
   fs.inotify.max_user_watches=1048576
   fs.file-max=52706963
   fs.nr_open=52706963
   net.ipv6.conf.all.disable_ipv6=1
   net.netfilter.nf_conntrack_max=2310720
   cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
   sysctl -p /etc/sysctl.d/kubernetes.conf
7. 调整系统时区
   #设置系统时区为 中国/上海
   timedatectl set-timezone Asia/Shanghai
   #将当前的 UTC 时间写入硬件时钟
   timedatectl set-local-rtc 0
   #重启依赖于系统时间的服务
   systemctl restart rsyslog
   systemctl restart crond
8. 关闭系统不需要服务
   systemctl stop postfix && systemctl disable postfix
9. 设置 rsyslogd 和 systemd journald
   mkdir /var/log/journal # 持久化保存日志的目录
   mkdir /etc/systemd/journald.conf.d
   vim /etc/systemd/journald.conf.d/99-prophet.conf
   [Journal]
   #持久化保存到磁盘
   Storage=persistent
   #压缩历史日志
   Compress=yes
   SyncIntervalSec=5m
   RateLimitInterval=30s
   RateLimitBurst=1000
   #最大占用空间 10G
   SystemMaxUse=10G
   #单日志文件最大 200M
   SystemMaxFileSize=200M
   #日志保存时间 2 周
   MaxRetentionSec=2week
   #不将日志转发到 syslog
   ForwardToSyslog=no
   systemctl restart systemd-journald
10. 升级系统内核为 4.44
    CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs，导致运行的 Docker、Kubernetes 不稳定，例如：

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

#安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装 一次！
yum --enablerepo=elrepo-kernel install -y kernel-lt
#设置开机从新内核启动
grub2-set-default ‘CentOS Linux (4.4.232-1.el7.elrepo.x86_64) 7 (Core)’

开始安装

1. kube-proxy开启ipvs的前置条件
   modprobe br_netfilter
   vim /etc/sysconfig/modules/ipvs.modules
   #!/bin/bash
   modprobe – ip_vs
   modprobe – ip_vs_rr
   modprobe – ip_vs_wrr
   modprobe – ip_vs_sh
   modprobe – nf_conntrack_ipv4
   chmod 755 /etc/sysconfig/modules/ipvs.modules
   bash /etc/sysconfig/modules/ipvs.modules
   lsmod | grep -e ip_vs -e nf_conntrack_ipv4
2. 安装 Docker 软件,导入镜像

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum update -y && yum install -y docker-ce
mkdir /etc/docker
mkdir -p /etc/systemd/system/docker.service.d
vim /etc/docker/daemon.json
{
“exec-opts”: [“native.cgroupdriver=systemd”],
“log-driver”: “json-file”,
“log-opts”: {
“max-size”: “100m”
}
}
systemctl daemon-reload
systemctl restart docker
systemctl enable docker
vim load-images.sh
#!/bin/bash
ls /root/kubeadm-basic.images > /tmp/image-list.txt
cd /root/kubeadm-basic.images
for i in $( cat /tmp/image-list.txt)
do
docker load -i $i
done
rm -rf /tmp/image-list.txt
chmod +x load-images.sh
执行load-images.sh脚本
镜像资料https://pan.baidu.com/s/1HeO2flWYuYQMFV7BOmkusw
密码：w6bx
3. 安装 Kubeadm （主从都配置）
vim /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
systemctl enable kubelet.service
4. 初始化主节点并加入节点
这里以k8s1为主节点，k8s2和k8s3为从节点。只需要在主节点作 初始化
kubeadm config print init-defaults > kubeadm-config.yaml

vim kubeadm-config.yaml
按照这些信息修改添加
localAPIEndpoint:
	advertiseAddress: 192.168.138.162
kubernetesVersion: v1.15.1
networking:
	podSubnet: "10.244.0.0/16"
	serviceSubnet: 10.96.0.0/12
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
	SupportIPVSProxyMode: true
mode: ipvs

最后指定配置文件,执行初始化

kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log

初始化成功后会将日志信息打印在终端和kubeadm-init.log中
执行相应的命令加入主节点和从节点，加入从节点时需要执行
echo 1 >/proc/sys/net/ipv4/ip_forward

添加成功后可以查看节点信息
kubectl get node
此时的状态为NotReady，是正常的
创建一个目录专门存放k8s的重要文件
Mkdir file-k8s
mv kubeadm-init.log kubeadm-config.yaml file-k8s
在file-k8s中创建core flannel 目录
mkdir file-k8s/core file-k8s/flannel
5. 部署网络
下载flannel的yaml文件

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube- flannel.yml //这个下载需要国外网络

这里有现成的链接：https://pan.baidu.com/s/1ZwfldybqbhJr-iZFB35TtA
提取码：qdwd
下载下来放在file-k8s/flannel目录中
Kubectl create -f kube-flannel.yml
如果安装flannel失败执行删除 kubectl delete -f kube-flannel.yml
成功之后可以看见所有状态均为ready
Kubectl get pod -n kube-system 查看pod,node全部ready


Kubectl get pod -n kube-system -o wide 查看更详细的信息
kubectl get pod -o wide --show-labels查看标签
至此k8s集群已经部署完毕