多主多从的kubeadm搭建

最新推荐文章于 2023-09-07 19:43:01 发布
最新推荐文章于 2023-09-07 19:43:01 发布
阅读量866 收藏 2
点赞数
文章标签： 网络 docker 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58519482/article/details/124651435
版权
IP地址主机名
172.17.8.101k8s-master1
172.17.8.102k8s-master2
172.17.8.103k8s-master3
172.17.8.104k8s-harbor
172.17.8.105k8s-ha1
172.17.8.106k8s-ha2
172.17.8.107k8s-node1
172.17.8.108k8s-node2
172.17.8.109k8s-node3
VIP:172.17.8.88

单主单节点的搭建

1、关闭swap分区

注释/etc/fstab里的swap分区即可;
重启，并free -m查看是否关闭成功

2、优化内核参数

vim /etc/sysctl.conf
net.ipv4.conf.default.rp_filter = 1
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.ip_forward = 1
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-arptables = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_sack = 1
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 32768
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_syn_retries = 3
net.ipv4.tcp_retries1 = 3
net.ipv4.tcp_retries2 = 15
net.ipv4.tcp_fin_timeout = 1
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_keepalive_probes = 3

3、资源限制

cat /etc/security/limits.conf
root soft core unlimited
root hard core unlimited
root soft nproc 1000000
root hard nproc 1000000
root soft nofile 1000000
root hard nofile 1000000
root soft memlock 32000
root hard memlock 32000
root soft msgqueue 8192000
root hard msgqueue 8192000
* soft core unlimited
* hard core unlimited
* soft nproc 1000000
* hard nproc 1000000
* soft nofile 1000000
* hard nofile 1000000
* soft memlock 32000
* hard memlock 32000
* soft msgqueue 8192000
* hard msgqueue 8192000

4、在master节点和node节点安装docker

[root@k8s-master1:~]#apt-get update -y
[root@k8s-master1:~]#apt install -y apt-transport-https ca-certificates curl software-properties-common
#安装gpg证书
[root@k8s-master1:~]#curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
#导入软件源
[root@k8s-master1:~]#sudo add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
#更新软件源
[root@k8s-master1:~]#apt-get update -y
#查看可安装的docker版本
[root@k8s-master1:~]#apt-cache madison docker-ce docker-ce-cli
#安装docker 19.03.9
[root@k8s-master1:~]#apt install -y docker-ce=5:19.03.15~3-0~ubuntu-bionic docker-ce-cli=5:19.03.15~3-0~ubuntu-bionic
#在docker的启动文件里加上harbor的仓库地址
[root@k8s-master1:~]#sed -Ei 's/^(ExecStart=.*)/\1 --insecure-registry 172.17.8.104/g' /lib/systemd/system/docker.service
[root@k8s-master1:~]# vim /etc/docker/daemon.json 
{
 "registry-mirrors": ["https://nmgg13hb.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"]
}
[root@k8s-master1:~]#systemctl daemon-reload && systemctl restart docker.service
[root@k8s-master1:~]#systemctl status docker.service
#如果--insecure-registry这命令记不住，可以查帮助
[root@k8s-master1:~]# dockerd --help|grep ins
      --authorization-plugin list               Authorization plugins to load
      --dns-search list                         DNS search domains to use
      --insecure-registry list                  Enable insecure registry communication
验证docker是否安装成功
[root@k8s-master1:~]# docker info
Client:
 Debug Mode: false

Server:
 Containers: 0
  Running: 0
  Paused: 0
  Stopped: 0
 Images: 0
 Server Version: 19.03.15
 Storage Driver: overlay2
  Backing Filesystem: extfs
  Supports d_type: true
  Native Overlay Diff: true
 Logging Driver: json-file
 Cgroup Driver: systemd  ####注意：要和kubeadm的引擎一样
 Plugins:
  Volume: local
  Network: bridge host ipvlan macvlan null overlay
  Log: awslogs fluentd gcplogs gelf journald json-file local logentries splunk syslog
 Swarm: inactive
 Runtimes: runc
 Default Runtime: runc
 Init Binary: docker-init
 containerd version: ea765aba0d05254012b0b9e595e995c09186427f
 runc version: dc9208a3303feef5b3839f4323d9beb36df0a9dd
 init version: fec3683
 Security Options:
  apparmor
  seccomp
   Profile: default
 Kernel Version: 4.15.0-156-generic
 Operating System: Ubuntu 18.04.6 LTS
 OSType: linux
 Architecture: x86_64
 CPUs: 2
 Total Memory: 3.83GiB
 Name: k8s-master1.server
 ID: YNTT:4PVF:QFRF:KWUO:KXXF:6RKE:OOOF:TNJF:LUGA:U3BJ:FE73:KIE7
 Docker Root Dir: /var/lib/docker
 Debug Mode: false
 Registry: https://index.docker.io/v1/
 Labels:
 Experimental: false
 Insecure Registries:
  172.17.8.104  #核对是否是harbor仓库的地址，也可以写域名
  127.0.0.0/8
 Live Restore Enabled: false
 Product License: Community Engine

5、配置kubernetes仓库

master节点和node节点都需要配置
[root@k8s-master1:~]#apt-get update && apt-get install -y apt-transport-https
[root@k8s-master1:~]#curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 
[root@k8s-master1:~]#cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
[root@k8s-master1:~]#apt-get update

6、下载kubeadm、kubectl、kubelet

master节点：
#查看kubeadm的版本
[root@k8s-master1:~]#apt-cache madison kubeadm
#下载kubeadm
[root@k8s-master1:~]#apt install -y kubeadm=1.20.5-00 kubectl=1.20.5-00 kubelet=1.20.5-00
#验证kubeadm的版本
[root@k8s-master1:~]#kubeadm version
#kubectl的bash命令补全
[root@k8s-master1:~]#mkdir /data/script
[root@k8s-master1:~]#apt install bash-completion > /data/script/kube.sh
[root@k8s-master1:~]#apt install bash-completion -y
[root@k8s-master1:~]#source /usr/share/bash-completion/bash_completion 
[root@k8s-master1:~]#kubeadm completion bash  > /data/script/kube.sh
[root@k8s-master1:~]#kubectl completion bash  > /data/script/kuctl.sh
[root@k8s-master1:~]#echo "source /data/script/*.sh" >> /etc/profile
[root@k8s-master1:~]#source /etc/profile
node节点：
[root@k8s-master1:~]#apt install -y kubeadm=1.20.5-00 kubelet=1.20.5-00

7、下载镜像(所有的master节点都需安装)

#下载镜像
[root@k8s-master1:~]# cat images_download.sh 
#!/bin/bash
#
#********************************************************************
#Author:            wengshiqiang
#QQ:                2923035330
#Date:              2022-05-08
#FileName           images_download.sh
#URL:              https://blog.csdn.net/weixin_58519482
#Copyright (C):     2022 All rights reserved
#********************************************************************
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.20.5
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.20.5
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.20.5
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.20.5
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.7.0
#查看镜像是否下载成功
[root@k8s-master1:~]# docker images

8、kubeadm初始化(所有的master都要初始化)

master1初始化
[root@k8s-master1:~]# kubeadm init \
--apiserver-advertise-address=172.17.8.101 \
--control-plane-endpoint=172.17.8.88 --apiserver-bind-port=6443 \
--kubernetes-version=v1.20.5 --pod-network-cidr=10.100.0.0/16 \
--service-cidr=10.200.0.0/16 --service-dns-domain=qiange.cn \
--image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers \
--ignore-preflight-errors=swap

#出现以下的内容
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

You can now join any number of control-plane nodes by copying certificate authorities
and service account keys on each node and then running the following as root:

kubeadm join 172.17.8.88:6443 --token dcjcq5.5gnigeehpswf5kq7 \
--discovery-token-ca-cert-hash sha256:76b15fb850fe38c7efc21549ae5dacba356592129086e703e1d49f46b199024b \
--control-plane 

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 172.17.8.88:6443 --token dcjcq5.5gnigeehpswf5kq7 \
--discovery-token-ca-cert-hash sha256:76b15fb850fe38c7efc21549ae5dacba356592129086e703e1d49f46b199024b
#################################################################################
[root@k8s-master1:~]#mkdir -p $HOME/.kube
[root@k8s-master1:~]#sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@k8s-master1:~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

#master2和master3也需要执行此步

在这里插入图片描述

master2和master3初始化
kubeadm join 172.17.8.88:6443 --token dcjcq5.5gnigeehpswf5kq7 \
--discovery-token-ca-cert-hash sha256:76b15fb850fe38c7efc21549ae5dacba356592129086e703e1d49f46b199024b --control-plane \
--certificate-key  8af0085450865f09c1c4d51b8bbf426acd1654baf25214c724ef184fccf77afc

9、配置网络

#https://github.com/flannel-io/flannel/blob/master/Documentation/kube-flannel.yml
到这个网站把kube-flannel.yml拷贝到/data/network目录下
[root@k8s-master1:~]#mkdir /data/network
[root@k8s-master1:~]#cd /data/network
#修改kube-flannel.yml中的“Network" 的IP地址必须与初始化的--pod-network-cidr=10.100.0.0/16地址相同
[root@k8s-master1:~]#vim kube-flannel.yml
修改128行的Network的地址
[root@k8s-master1:~]#kubectl apply -f kube-flannel.yml
echo "source /root/script/*.sh" >> /etc/profile

#把kube-flannel.yml拷贝给master2和master3
[root@k8s-master1:~]#scp /data/network/kube-flannel.yml 172.17.8.102:/data/network/kube-flannel.yml
[root@k8s-master1:~]#scp /data/network/kube-flannel.yml 172.17.8.102:/data/network

#在master2和master3的/data/network路径下执行
[root@k8s-master2:~]#kubectl apply -f kube-flannel.yml
[root@k8s-master3:~]#kubectl apply -f kube-flannel.yml

#执行完这步后master的节点都需要执行systemctl restart kubelet.service，否则不生效
（如果重启服务后一段时间还是没有生成flannel网卡，就重启系统）

10、检查网络是否配置成功

在这里插入图片描述

11、node节点加入

[root@k8sk8s-node1:~]#kubeadm join 172.17.8.88:6443 --token dcjcq5.5gnigeehpswf5kq7 --discovery-token-ca-cert-hash sha256:76b15fb850fe38c7efc21549ae5dacba356592129086e703e1d49f46b199024b
[root@k8sk8s-node1:~]#systemctl restart kubelet.service

#其余node节点同上

在这里插入图片描述

#查看节点的状态
[root@k8s-master1:~]# kubectl get node

在这里插入图片描述

12、在master节点创建pod

[root@k8s-master1:~]# kubectl run test-pod1 --image=alpine --command sleep 400000
[root@k8s-master1:~]# kubectl run test-pod2 --image=alpine --command sleep 400000
[root@k8s-master1:~]# kubectl run test-pod3 --image=alpine --command sleep 400000
[root@k8s-master1:~]# kubectl run test-pod4 --image=alpine --command sleep 400000

在这里插入图片描述

查看pod的运行情况
[root@k8s-master1:~]# kubectl get pod -o wide

在这里插入图片描述

进入运行的pod中测试网络的连通性
[root@k8s-master1:~]# kubectl exec -it test-pod1 sh

]

报错总结：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ohqsCokT-1652002567617)(C:\Users\HP\AppData\Roaming\Typora\typora-user-images\1651996104804.png)]

#原因：这就是因为锁定的文件会阻止 Linux 系统中某些文件或者数据的访问

sudo rm /var/lib/apt/lists/lock
sudo rm /var/cache/apt/archives/lock
sudo rm /var/lib/dpkg/lock*
sudo dpkg --configure -a
sudo apt updat
reboot

d中测试网络的连通性

[root@k8s-master1:~]# kubectl exec -it test-pod1 sh

[外链图片转存中…(img-p5MV2WKe-1652002567616)]

报错总结：

[外链图片转存中…(img-ohqsCokT-1652002567617)]

#原因：这就是因为锁定的文件会阻止 Linux 系统中某些文件或者数据的访问

sudo rm /var/lib/apt/lists/lock
sudo rm /var/cache/apt/archives/lock
sudo rm /var/lib/dpkg/lock*
sudo dpkg --configure -a
sudo apt updat
reboot

​

优质&青年
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
k8v：:anchor:在Vagrant上使用Kubeadm为k8s集群创建一个多主机环境
02-06
k8v：:anchor:在Vagrant上使用Kubeadm为k8s集群创建一个多主机环境
使用kubeadm安装k8s-1.11版本多主高可用
weixin_34088838的博客
07-11 223
实验环境说明 实验架构图 lab1: etcd master haproxy keepalived 11.11.11.111 lab2: etcd master haproxy keepalived 11.11.11.112 lab3: etcd master haproxy keepalived 11.11.11.113 lab4: node 11.11.11.114 lab5: node ...
【k8s安装】使用kubeasz安装多主多从k8s集群（简单快捷）
weixin_34192993的博客
09-29 841
使用kubeasz安装多主多从k8s集群 一、项目介绍 kubeasz为github上开源的一个用于安装k8s集群的项目，目前很多方法安装k8s，但是多是单master多node的安装方式，但是kubeasz可以很方便的实现多主多从，用于实验真的很方便。项目的核心是使用ansible进行的，所以跟着kubeasz自带的模板和项目自带的教程，很方便的就能安装完成。 使用Ansible脚本安装K8S集...
Centos7使用kubeadm 安装多主高可用kubernets:v.1.11集群
weixin_30898109的博客
08-20 145
实验环境介绍： 本次实验环境是5个节点 3台master 2台node节点： k8smaster01 192.168.111.128 软件：etcd k8smaster haproxy keepalived k8smaster02 192.168.111.129 软件：etcd k8smaster haproxy keepalived k8smaster03 192.168.111.1...
kubeadm部署K8S
wanghailan1818的博客
10-31 580
kubeadm 是官方社区推出的一个用于快速部署kubernetes 集群的工具，这个工具能通过两条指令完成一个kubernetes 集群的部署： 创建一个Master 节点kubeadm init 将Node 节点加入到当前集群中$ kubeadm join <Master 节点的IP 和端口> 安装要求 在开始之前，部署Kubernetes 集群机器需要满足以下几个条件： 一台或多台机器，操作系统CentOS7.x-86_x64 硬件配置：2GB 或更多RAM，2 个CPU 或更多CP
kubeadm搭建kubernetes集群
01-27
首先环境还是三台虚拟机，虚拟机地址如下 然后每台机器安装好docker，至于rpm安装包版本下面介绍官方的文档页面更新并不及时，同时他的yum源更新也很慢，再者…那他妈可是Google的服务器，能特么连上吗？...
Kubernetes集群搭建：基于Kubeadm
02-24
*K8S版本为15.1*Docker版本最高支持18.06.11，清除原Docker环境，原版本为最新版2，如果清除后依旧包冲突错误通过yum命令手动移除冲突包3，安装18.06.1版本Docker1，基础环境准备a，机器节点准备，虚拟机搭建，内存...
使用kubeadm搭建高可用的K8s集群
11-03
使用kubeadm搭建高可用的K8s集群
kubeadm、k8s集群环境简易搭建
10-01
unbuntu16.04环境，kubeadm搭建k8s集群脚本 参考文档如下 1.https://time.geekbang.org/column/article/39724 2.https://my.oschina.net/u/2306127/blog/1843053 3....
centos7使用kubeadm安装kubernetes 1.11.x版本多主高可用
yan7895566的博客
09-28 708
实验环境说明 实验架构图 k8s-master01: etcd master haproxy keepalived 172.16.2.71 k8s-master02: etcd master haproxy keepalived 172.16.2.72 k8s-master03: etcd master haproxy keepalived 172.16.2.73 k8s-node01: n...
使用kubeadm部署多master k8s集群部署
热门推荐
kismile
09-09 1万+
机器初始化，相关参数 在master机器上安装cfssl工具 配置ca根证书 生成client，客户端证书 生成peer 和server的证书（etcd使用） 证书相关注意事项 systemd 方式运行 etcd 配置kubelet 初始化节点master1 安装kubetnetes集群 注意初始化集群完后的操作： 安装flannel网络 初始化节点master节点[2,3] 使用k...
kubernetes1.16 K8S高可用部署--三主三从
运维Carl的博客
10-22 2677
环境说明 操作系统：centos7 kubernetes：16.0 docker：18.06 主机名 IP地址 类型 master-1 192.168.217.128 masters master-2 192.168.217.129 masters master-3 192.168.217.133 masters node-1 192.168.217.130 nodes...
从0-1快速搭建一个k8s集群（一主多从）
qq_15898739的博客
11-20 1467
前言 Kubernetes是一个为用户提供具有普遍意义的容器编排工具。能够按照用户的意愿和整个系统的规则，完全自动化地处理好容器之间的各种关系。同时，能提供一套基于容器构建分布式系统的基础依赖。下面就以Kubernetes1.15.3为例，带领大家从0到1搭建一个完整的Kubernetes集群。该集群基于kubeadm的方式搭建，应用节点具有高可用。 （一）服务器准备 1...
Kubernetes(k8s)部署高可用多主多从的Redis集群
XiaoHH的博客
09-07 1022
Kubernetes(k8s)上部署多主多从的高可用redis集群，使用NFS动态存储，步骤超详细
搭建多主节点k8s高可用集群(三主两从一VIP）
weixin_53667818的博客
09-06 3536
如果使用的是阿里云，kubectl控制端不能放在master节点，因为阿里云SLB有回环问题，也就是说SLB代理的服务器不能反向访问这个问题，但是腾讯云修复了这个问题。通过这些对等连接，每个节点上的路由器可以了解整个网络的拓扑，并决定最佳路径来路由数据包。​ 当k8s集群中某个节点服务器发生故障时，Keepalived服务会自动将失效的节点从正常队列中剔除，并将请求调度到别的正常的节点服务器上，从而保证用户访问不受影响。通过定义网络策略，管理员可以限制容器之间的流量，并确保只有授权的容器才能相互通信。
k8s集群搭建（一主多从）
qq_44956318的博客
11-16 2052
文章目录前言安装master节点一、安装docker二、基本环境设置三、安装kubelet、kubeadm、kubectl四、初始化master节点4.1 下载镜像4.2 初始化4.3初始化成功4.4五、安装Calico网络插件worker节点一、安装docker （同master节点）二、基本环境设置 （同master节点）三、安装kubelet、kubeadm、kubectl （同master节点）四、下载镜像 （同master节点）五、执行master初始化之后的命令 前言 使用 kubeadm 创
云原生--k8s一主多从架构搭建
a_b_e_l_的博客
11-01 1819
K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启。node 节点加入集群需要生成的 token，token 有效期为 24 小时，过期需要重新创建。部署 Kubernetes Node，将节点加入Kubernetes集群中。部署 Dashboard Web 页面，可视化查看Kubernetes资源。监测K8s集群是否正常后，再运行服务部署。#查询node节点是否ready。#查询所有pod是否正常运行。服务器类型 IP地址。
K8S-Demo集群实践21：MySQL5.7.35高可用架构双主多从GTID配置方案测试
jasonhe2018的博客
11-08 676
K8S-Demo集群实践21：MySQL5.7.35双主多从GTID测试一、测试方案二、准备配置文件1、master1配置文件：/opt/mysql/conf/mysqlm1.cnf2、master2配置文件：/opt/mysql/conf/mysqlm2.cnf3、slave1配置文件：/opt/mysql/conf/mysqls1.cnf4、slave2配置文件：/opt/mysql/conf/mysqls2.cnf三、下载镜像MySQL5.7.35四、启动MySQL1、启动Master1：mysqlm
kubernetes mysql多主_kubernetes使用StatefulSet部署mysql一主多从
weixin_39786706的博客
01-27 101
kubernetes使用StatefulSet部署mysql一主多从有状态服务一般数据需要永久保存，先创建动态存储卷(这里存储使用nfs)rabc文件(base) [root@nlp-test-server-no ~]# cat nfs-rbac.yamlapiVersion: v1kind: ServiceAccountmetadata:name: nfs-client-provisionern...
CentOS7+Kubeadm+K8S集群安装手册
最新发布
02-17
"CentOS7+Kubeadm+K8S集群安装手册 V1.0，由张志龙编写于2017.12.19" 本手册详细介绍了如何在CentOS7操作系统中使用kubeadm工具安装和部署一个原生的Kubernetes（K8S）集群。Kubernetes是一种流行的容器编排系统，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值