基于K8S搭建企业级高可用集群

最新推荐文章于 2024-08-08 09:53:39 发布

随风483

最新推荐文章于 2024-08-08 09:53:39 发布

阅读量611

点赞数

文章标签： kubernetes 容器云原生

本文链接：https://blog.csdn.net/qq_62393809/article/details/131918747

版权

1.规划设计整个集群的架构，部署k8s单master的集群环境，1个master2个node点、相关的服务器。

1.1 部署k8s集群

2.部署jumpserver堡垒机，接入node节点

3.将自己的开发的web接口系统制作成镜像，部署到k8s里作为web应用，采用HPA技术，当cpu使用率达到50%的时候，进行水平扩缩，最小20个，最多40个pod。

3.1使用HPA的配置文件如下

4.部署nfs服务器，为整个web集群提供数据，让所有的web 业务pod都取访问，通过pv和pvc、卷挂载实现。

4.1搭建nfs服务器

5.部署主从复制的Mysql集群，以及Redis集群提供数据库服务

6.安装promethues对所有集群（cpu，内存，网络带宽，web服务，数据库服务，磁盘IO等）进行监控包括k8s集群

7.使用ingress给web业务做负载均衡

8.使用探针（liveless、readiness、startup）的httpGet和exec方法对web业务pod进行监控，一旦出现问题马上重启，增强业务pod的可靠性。

9.对整个k8s集群和相关的服务器进行压力测试

1.项目架构图

1.1项目介绍

该架构图主要从安全，稳定，效率，成本四个角度出发

1.安全方面：在业务入口处，使用阿里云的WAF防火墙产品，以及阿里云的DDOS高防包，可以有效地防止sql注入，DDos攻击等百分之95的安全攻击

2.稳定方面：考虑到项目部署在一个机房的一个地区。如果这个地区出现故障将导致整体项目不可用，所以采用同一地区，双机房的部署方式，项目的数据库和redis互相连通，在一个机房出现问题时，可以快速切换到另一个机房，最短的时间恢复业务

3.效率方面：如果说业务机房在广州，考虑到用户量的增大，用户分布在全国各地，新疆，河北这一片区域的用户，访问卡顿问题，购买云产商阿里云的CDN服务，可以避免出现这种地域访问卡顿问题，同时整体统一使用Prometheus＋Grafana的监控告警，以及阿里云的SLS日志产品，对整个双地区的日志进行收集，方便快速定位日志

4.成本方面：在保障业务高可用的情况下，可以有效的节约成本，减少损失

1.2项目说明

由于本地虚拟机搭建，本项目没有购买CDN,WAF,DDOS，SLS等服务，将会搭建一套k8s集群，在生产环境可以使用以上服务

2.项目步骤

1.规划设计整个集群的架构，部署k8s单master的集群环境，1个master2个node点、相关的服务器。

1.1 部署k8s集群

注意：以下操作标注每台和master执行

1.关闭防火墙和selinux（每台）
[root@scmaster ~]# service firewalld stop
Redirecting to /bin/systemctl stop firewalld.service

[root@scmaster ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

[root@scmaster ~]# vim /etc/selinux/config 
SELINUX=disabled

[root@scmaster ~]# getenforce 
Enforcing

2.安装docker（每台）
每台节点服务器上都操作master和node上进行
卸载原来安装过的docker，如果没有安装可以不需要卸载
yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

安装yum相关的工具，下载docker-ce.repo文件
[root@cali ~]#  yum install -y yum-utils -y

[root@cali ~]#yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

下载docker-ce.repo文件存放在/etc/yum.repos.d
[root@cali yum.repos.d]# pwd
/etc/yum.repos.d
[root@cali yum.repos.d]# ls
CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Media.repo    CentOS-Vault.repo          docker-ce.repo
CentOS-CR.repo    CentOS-fasttrack.repo  CentOS-Sources.repo  CentOS-x86_64-kernel.repo  nginx.repo

安装docker-ce软件
[root@cali yum.repos.d]#yum install docker-ce-20.10.18 docker-ce-cli-20.10.18 containerd.io docker-compose-plugin -y
container engine 容器引擎
docker是一个容器管理的软件
docker-ce 是服务器端软件 server
docker-ce-cli 是客户端软件 client
docker-compose-plugin 是compose插件，用来批量启动很多容器，在单台机器上
containerd.io  底层用来启动容器的


[root@scmaster ~]# docker --version
Docker version 20.10.18, build b40c2f6

4.启动docker服务（每台）
[root@scmaster ~]# systemctl start docker

[root@scmaster ~]# ps aux|grep docker
root      53288  1.5  2.3 1149960 43264 ?       Ssl  15:11   0:00 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
root      53410  0.0  0.0 112824   984 pts/0    S+   15:11   0:00 grep --color=auto docker

5.设置docker服务开机启动
[root@scmaster ~]# systemctl enable docker
Created symlink from /etc/systemd/system/multi-user.target.wants/docker.service to /usr/lib/systemd/system/docker.service.

3.配置 Docker使用systemd作为默认Cgroup驱动
每台服务器上都要操作，master和node上都要操作执行下面的脚本，会产生 /etc/docker/daemon.json文件
	cat <<EOF > /etc/docker/daemon.json
	{
	   "exec-opts": ["native.cgroupdriver=systemd"]
	}
	EOF
	
#重启docker
[root@scmaster docker]# systemctl restart docker


[root@web1 yum.repos.d]# cat /etc/docker/daemon.json 
{
   "exec-opts": ["native.cgroupdriver=systemd"]
}

关闭swap分区
	因为k8s不想使用swap分区来存储数据，使用swap会降低性能
	每台服务器都需要操作
	swapoff -a # 临时关闭
	sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab #永久关闭

修改主机名（每台）
[root@prometheus ~]# cat >> /etc/hosts << EOF
192.168.159.137 prometheus
192.168.159.131 web1
192.168.159.132 web2
192.168.159.133 web3
EOF

修改内核参数（每台）
cat <<EOF >>  /etc/sysctl.conf  
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.ip_forward = 1
vm.swappiness=0
EOF

cat /etc/sysctl.conf （每台）
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.ip_forward = 1
vm.swappiness=0

每台机器都做
[root@prometheus ~]# sysctl -p
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0

6.安装kubeadm,kubelet和kubectl（每台）
kubeadm --》k8s的管理程序--》在master上运行的--》建立整个k8s集群，背后是执行了大量的脚本，帮助我们去启动k8s

kubelet --》在node节点上用来管理容器的--》管理docker，告诉docker程序去启动容器，管理docker容器，告诉docker程序去启动pod
一个在集群中每个节点（node）上运行的代理。 它保证容器（containers）都运行在 Pod 中。

kubectl --》在master上用来给node节点发号施令的程序，用来控制node节点的，告诉它们做什么事情的，是命令行操作的工具

# 添加kubernetes YUM软件源（每台）
	cat > /etc/yum.repos.d/kubernetes.repo << EOF
	[kubernetes]
	name=Kubernetes
	baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
	enabled=1
	gpgcheck=0
	repo_gpgcheck=0
	gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
	EOF

#安装kubeadm,kubelet和kubectl ,并且指定版本（每台）

yum install -y kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6  
--》最好指定版本，因为1.24的版本默认的容器运行时环境不是docker了

下面这个网站有解决方法	
https://www.docker.com/blog/dockershim-not-needed-docker-desktop-with-kubernetes-1-24/
	
#设置开机自启，因为kubelet是k8s在node节点上的代理，必须开机要运行的（每台）
	systemctl enable  kubelet

#提前准备coredns:1.8.4的镜像，后面需要使用,需要在每台机器上下载镜像
[root@master ~]#  docker pull  coredns/coredns:1.8.4

[root@master ~]# docker tag coredns/coredns:1.8.4 registry.aliyuncs.com/google_containers/coredns:v1.8.4

部署Kubernetes Master
master主机执行
#初始化操作在master服务器上执行
	[root@master ~]#kubeadm init \
	--apiserver-advertise-address=192.168.237.180 \ 
	--image-repository registry.aliyuncs.com/google_containers \
	--service-cidr=10.1.0.0/16 \
	--pod-network-cidr=10.244.0.0/16
	#192.168.92.132 是master的ip
	#      --service-cidr string                  Use alternative range of IP address for service VIPs. (default "10.96.0.0/12")  服务发布暴露--》dnat
	#      --pod-network-cidr string              Specify range of IP addresses for the pod network. If set, the control plane will automatically allocate CIDRs for every node.



	
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user

(在master上执行这三个命令)
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:
（再执行这个命令）
  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on eac
（最后复制产生的下面些命令去node）
kubeadm join 192.168.159.137:6443 --token 4aw7ag.a8qzacdm0jcd3hxs \
	--discovery-token-ca-cert-hash sha256:09511c561866693a9e7f574c1162b3bc28c7 

加入k8s集群（node服务器）

2.部署jumpserver堡垒机，接入node节点

1.下载Jumpserver官网提供的文件一键部署(提前部署阿里YUM)

curl -sSL https://github.com/jumpserver/jumpserver/releases/download/v2.24.0/quick_start.sh | bash

2.启动jumpserver服务

cd /opt/jumpserver-installer-v2.24.0 ##(默认安装目录)
#启动
./jmsctl.sh start ## 或者 ./jmsctl.sh restart/down/uninstall来管理服务的状态

3.查看镜像和容器是否存在

docker images 
##验证
REPOSITORY           TAG       IMAGE ID       CREATED        SIZE
jumpserver/mariadb   10.6      aac2cf878de9   2 months ago   405MB
jumpserver/redis     6.2       48da0c367062   2 months ago   113MB
jumpserver/web       v2.24.0   a9046484de3d   6 months ago   416MB
jumpserver/core      v2.24.0   83b8321cf9e0   6 months ago   1.84GB
jumpserver/koko      v2.24.0   708386a1290e   6 months ago   770MB
jumpserver/lion      v2.24.0   81602523a0ac   6 months ago   351MB
jumpserver/magnus    v2.24.0   e0a90a2217ad   6 months ago   157MB

docker ps | grep jumpser
##验证 查看容器是否健康
1c26e0acbc8e   jumpserver/core:v2.24.0     "./entrypoint.sh sta…"   8 hours ago    Up 8 hours (healthy)   8070/tcp, 8080/tcp                                                                                                           
d544ec4a155d   jumpserver/magnus:v2.24.0   "./entrypoint.sh"        8 hours ago    Up 8 hours (healthy)   15211-15212/tcp, 0.0.0.0:33060-33061->33060-33061/tcp, :::33060-33061->33060-33061/tcp, 54320/tcp, 0.0.0.0:63790->63790/tcp, :::63790->63790/tcp   jms_magnus
1d409d8d4a62   jumpserver/lion:v2.24.0     "./entrypoint.sh"        8 hours ago    Up 8 hours (healthy)   4822/tcp
b6bbd8bf21e8   jumpserver/koko:v2.24.0     "./entrypoint.sh"        8 hours ago    Up 8 hours (healthy)   0.0.0.0:2222->2222/tcp, :::2222->2222/tcp, 5000/tcp                                                               
5774d0475eef   jumpserver/web:v2.24.0      "/docker-entrypoint.…"   8 hours ago    Up 8 hours (healthy)   0.0.0.0:80->80/tcp, :::80->80/tcp                                                                                   
18c1f9eecbaf   jumpserver/core:v2.24.0     "./entrypoint.sh sta…"   8 hours ago    Up 8 hours (healthy)   8070/tcp, 8080/tcp                                                                                                           
2767e8938563   jumpserver/mariadb:10.6     "docker-entrypoint.s…"   19 hours ago   Up 8 hours (healthy)   3306/tcp
635f74cc0e43   jumpserver/redis:6.2        "docker-entrypoint.s…"   19 hours ago   Up 8 hours (healthy)   6379/tcp

4.访问当前部署虚拟机的IP地址

http://192.168.xxx.xxx
默认用户: admin  默认密码: admin (超级用户)

5.接入Master和Node节点（参考jumpserver使用教程）