Ansible部署K8s高可用集群(小节6)

最新推荐文章于 2024-05-05 02:48:02 发布
最新推荐文章于 2024-05-05 02:48:02 发布
阅读量62 收藏
点赞数
文章标签： ansible kubernetes 容器 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/soul_2016/article/details/132971656
版权

highlight: a11y-dark

theme: cyanosis

101Master1

移走或删除 mv /etc/ansible/* /tmp/ 拷贝 cp -rf kubeasz/* /etc/ansible/

``` cd /etc/ansible/

帮助文档

cat README.md

cp example/hosts.m-masters.example ./hosts ```

参考文档中部署步骤：https://github.com/easzlab/kubeasz/blob/0.6.1/docs/setup/00-planningandoverall_intro.md

每个节点安装依赖工具安装python2.7

Master{101\102}-etcd{105\106\107}-node{110\111}

``` 安装python2 apt-get install python2.7 -y

软连接

ln -s /usr/bin/python2.7 /usr/bin/python ```

Master101

下载k8s： 在/etc/ansible/down/download.sh查看后、变量改成版本号即可

上传文件：k8s.1-13-5.tar.gz ``` cd /etc/ansible/bin

解压缩

tar xvf k8s.1-13-5.tar.gz

由于是嵌套关系、所以移动到当前目录下

mv bin/* . 修改文件`(根据实际情况)` pwd /etc/ansible

修改文件(根据实际情况)

vim hosts

集群部署节点：一般为运行ansible 脚本的节点

变量 NTP_ENABLED (=yes/no) 设置集群是否安装 chrony 时间同步

[deploy] 192.168.37.101 NTP_ENABLED=no

etcd集群请提供如下NODE_NAME，注意etcd集群必须是1,3,5,7...奇数个节点

[etcd] 192.168.37.105 NODENAME=etcd1 192.168.37.106 NODENAME=etcd2 192.168.37.107 NODE_NAME=etcd3

[new-etcd] # 预留组，后续添加etcd节点使用

192.168.1.x NODE_NAME=etcdx

[kube-master] 192.168.37.101

[new-master] # 预留组，后续添加master节点使用 192.168.37.102

[kube-node] 192.168.37.110

[new-node] # 预留组，后续添加node节点使用 192.168.37.111

参数 NEW_INSTALL：yes表示新建，no表示使用已有harbor服务器

如果不使用域名，可以设置 HARBOR_DOMAIN=""

[harbor]

192.168.1.8 HARBORDOMAIN="harbor.yourdomain.com" NEWINSTALL=no

负载均衡(目前已支持多于2节点，一般2节点就够了) 安装 haproxy+keepalived

[lb] 192.168.1.1 LBROLE=backup 192.168.1.2 LBROLE=master

【可选】外部负载均衡，用于自有环境负载转发 NodePort 暴露的服务等

[ex-lb]

192.168.1.6 LBROLE=backup EXVIP=192.168.1.250

192.168.1.7 LBROLE=master EXVIP=192.168.1.250

[all:vars]

---------集群主要参数---------------

集群部署模式：allinone, single-master, multi-master

DEPLOY_MODE=multi-master

集群主版本号，目前支持: v1.8, v1.9, v1.10，v1.11, v1.12, v1.13

K8S_VER="v1.13"

集群 MASTER IP即 LB节点VIP地址，为区别与默认apiserver端口，设置VIP监听的服务端口8443

公有云上请使用云负载均衡内网地址和监听端口

MASTERIP="192.168.37.240" KUBEAPISERVER="https://{{ MASTER_IP }}:6443"

集群网络插件，目前支持calico, flannel, kube-router, cilium

CLUSTER_NETWORK="calico"

服务网段 (Service CIDR)，注意不要与内网已有网段冲突

SERVICE_CIDR="10.20.0.0/16"

POD 网段 (Cluster CIDR)，注意不要与内网已有网段冲突

CLUSTER_CIDR="172.20.0.0/16"

服务端口范围 (NodePort Range)

NODEPORTRANGE="30000-65000"

kubernetes 服务 IP (预分配，一般是 SERVICE_CIDR 中第一个IP)

CLUSTERKUBERNETESSVC_IP="10.20.0.1"

集群 DNS 服务 IP (从 SERVICE_CIDR 中预分配)

CLUSTERDNSSVC_IP="10.20.254.254"

集群 DNS 域名

CLUSTERDNSDOMAIN="linux01.local."

集群basic auth 使用的用户名和密码

BASICAUTHUSER="admin" BASICAUTHPASS="123456"

---------附加参数--------------------

默认二进制文件目录

bin_dir="/usr/bin"

证书目录

ca_dir="/etc/kubernetes/ssl"

部署目录，即 ansible 工作目录，建议不要修改

base_dir="/etc/ansible" 验证ansible 安装：`ansible all -m ping` 正常能看到节点返回 SUCCESS ansible all -m ping ```

``` pwd /etc/ansible

vim roles/prepare/templates/30-k8s-ulimits.conf.j2

  • soft nofile 100000
  • hard nofile 100000
  • soft nproc 100000

  • hard nproc 100000 注释掉、或删除 vim 01.prepare.yml ...

    prepare tasks for all nodes

  • hosts:

    • kube-master
    • kube-node
    • deploy
    • etcd

      - lb <--注释此项

```

01-创建证书和安装准备 ```

分步安装

1.在 /etc/kubernetes/ssl/ 可看一堆证书

ansible-playbook 01.prepare.yml ``` etcd下载地址：https://github.com/etcd-io/etcd

解压软件：etcd-v3.3.27-linux-amd64.tar.gz后、上传文件中的文件、如下 ``` cd /opt

上传文件中的etcd*文件

ll etcd* -rw-r--r-- 1 root root 22480128 Oct 15 2021 etcd <-- -rw-r--r-- 1 root root 18045152 Oct 15 2021 etcdctl <--

添加权限

chmod a+x etcd*

执行一下、可看到版本号等信息

./etcd --version etcd Version: 3.3.27 Git SHA: 973882f69 Go Version: go1.12.17 Go OS/Arch: linux/amd64

替换

mv etcd* /etc/ansible/bin/

检查是否替换

/etc/ansible/bin/etcd --version etcd Version: 3.3.27 Git SHA: 973882f69 Go Version: go1.12.17 Go OS/Arch: linux/amd64 [02-安装etcd集群](https://github.com/easzlab/kubeasz/blob/master/docs/setup/02-install_etcd.md) cd /etc/ansible

2.部署etcd

ansible-playbook 02.etcd.yml ``` 验证etcd是否正常、可在etcd{105/106/107}任意主机

如在 105 ```

ps -ef |grep etcd

或

export NODE_IPS="192.168.37.105 192.168.37.106 192.168.37.107"

返回3个'successfully'

for ip in ${NODEIPS};do ETCDCTLAPI=3 /usr/bin/etcdctl --endpoints=https://${ip}:2379 --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem endpoint health; done

https://192.168.37.105:2379 is healthy: successfully committed proposal: took = 6.280979ms https://192.168.37.106:2379 is healthy: successfully committed proposal: took = 6.685073ms https://192.168.37.107:2379 is healthy: successfully committed proposal: took = 6.405382ms ``` Master101(03.docker.yml手动装过、所以此处跳过)

04-安装master节点 ./bin/kube-apiserver --version Kubernetes v1.13.5 <--

```

ansible-playbook 04.kube-master.yml

查看状态

kubectl get node

NAME STATUS ROLES AGE VERSION 192.168.37.101 Ready,SchedulingDisabled master 4m10s v1.13.5 ``` node{110\111}

安装docker脚本\执行脚本 bash /opt/docker-install.sh

能否能下载镜像请在node110中测试、node111是在预留组中 ``` docker pull harbor.123.com/linux01/alpine:v2

查看镜像

docker images REPOSITORY TAG IMAGE ID CREATED SIZE harbor.123.com/linux01/alpine v2 b2aa39c304c2 3 weeks ago 7.05MB ```

Master101

05-安装node节点 ansible-playbook 05.kube-node.yml 添加了新的node节点 kubectl get node NAME STATUS ROLES AGE VERSION 192.168.37.101 Ready,SchedulingDisabled master 15m v1.13.5 192.168.37.110 Ready node 97s v1.13.5 06-安装集群网络 cd /etc/ansible/ ansible-playbook 06.network.yml calicoctl命令简介

检查整个calico网络的状态 ```

calicoctl node status

Calico process is running.

IPv4 BGP status +----------------+-------------------+-------+----------+-------------+ | PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO | +----------------+-------------------+-------+----------+-------------+ | 192.168.37.110 | node-to-node mesh | up | 05:36:00 | Established | +----------------+-------------------+-------+----------+-------------+

IPv6 BGP status No IPv6 peers found. ```

cp /usr/bin/docker* /etc/ansible/bin/ cp /usr/bin/containerd* /etc/ansible/bin/ 添加node、已在'/etc/ansible/hosts'中添加 ```

kubectl get nodes

NAME STATUS ROLES AGE VERSION 192.168.37.101 Ready,SchedulingDisabled master 151m v1.13.5 192.168.37.110 Ready node 137m v1.13.5 ```

改为本地镜像下载

图片.png

node1110

网络插件 ```

拉取镜像

docker pull mirrorgooglecontainers/pause-amd64:3.1

修改tag号

docker tag mirrorgooglecontainers/pause-amd64:3.1 harbor.123.com/baseimages/pause-amd64:3.1

登录 账号：admin 密码：123456

docker login harbor.123.com

上传

docker push harbor.123.com/baseimages/pause-amd64:3.1 ```

Master101

``` vim ./roles/kube-node/defaults/main.yml

默认使用kube-proxy的 'iptables' 模式，可选 'ipvs' 模式(experimental)

PROXY_MODE: "iptables"

基础容器镜像

SANDBOX_IMAGE: "harbor.123.com/baseimages/pause-amd64:3.1" <--改成内部地址

SANDBOX_IMAGE: "mirrorgooglecontainers/pause-amd64:3.1" <--注释掉

SANDBOX_IMAGE: "registry.access.redhat.com/rhel7/pod-infrastructure:latest"

Kubelet 根目录

KUBELETROOTDIR: "/var/lib/kubelet"

node节点最大pod 数

MAX_PODS: 110 修改配置 vim /etc/systemd/system/kubelet.service

--max-pods=5000 \

--pod-infra-container-image=mirrorgooglecontainers/pause-amd64:3.1 \ <--注释掉

--pod-infra-container-image=harbor.123.com/baseimages/pause-amd64:3.1 \ <--修改此行 重启服务 systemctl daemon-reload systemctl restart kubelet ```

calico镜像下载地址:https://github.com/projectcalico/calico

点击下载release-v3.4.4.tgz

上传后解压、打镜像 ``` cd /opt tar xvf release-v3.4.4.tgz cd release-v3.4.4/images

导入镜像1

docker load -i calico-cni.tar

修改tag号

docker tag calico/cni:v3.4.4 harbor.123.com/baseimages/calico-cni:v3.4.4

上传镜像

docker push harbor.123.com/baseimages/calico-cni:v3.4.4

导入镜像2

docker load -i calico-node.tar

修改tag号

docker tag calico/node:v3.4.4 harbor.123.com/baseimages/calico-node:v3.4.4

上传镜像

docker push harbor.123.com/baseimages/calico-node:v3.4.4

导入镜像3

docker load -i calico-kube-controllers.tar

修改tag号

docker tag calico/kube-controllers:v3.4.4 harbor.123.com/baseimages/kube-controllers:v3.4.4

上传镜像

docker push harbor.123.com/baseimages/kube-controllers:v3.4.4 `此步骤不要出错、否则后期排错非常麻烦！！！` vim /etc/ansible/roles/calico/templates/calico-v3.4.yaml.j2

- name: install-cni
    #注释掉下行后、添加新的
    #  image: calico/cni:{{ calico_ver }}
      image: harbor.123.com/baseimages/calico-cni:v3.4.4

    - name: calico-node
    #注释掉下行后、添加新的
    #  image: calico/node:{{ calico_ver }}
      image: harbor.123.com/baseimages/calico-node:v3.4.4

    - name: calico-kube-controllers
    #注释掉下行后、添加新的
    #  image: calico/kube-controllers:{{ calico_ver }}        
      image: harbor.123.com/baseimages/kube-controllers:v3.4.4

添加node cd /etc/ansible/

添加node

ansible-playbook 20.addnode.yml ```

kubectl get nodes NAME STATUS ROLES AGE VERSION 192.168.37.101 Ready,SchedulingDisabled master 4h v1.13.5 192.168.37.110 Ready node 3h46m v1.13.5 192.168.37.111 Ready node 87m v1.13.5 node111

查看是否下载变成内网 cat /etc/systemd/system/kubelet.service |grep image --pod-infra-container-image=harbor.123.com/baseimages/pause-amd64:3.1 \

Master101

添加Master、注释掉下面选项 ``` vim 21.addmaster.yml

reconfigure and restart the haproxy service

- hosts: lb <--

roles: <--

- lb <--

添加Master

ansible-playbook 21.addmaster.yml

calicoctl node status

Calico process is running.

IPv4 BGP status +----------------+-------------------+-------+----------+-------------+ | PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO | +----------------+-------------------+-------+----------+-------------+ | 192.168.37.110 | node-to-node mesh | up | 16:45:41 | Established | | 192.168.37.111 | node-to-node mesh | up | 17:01:42 | Established | | 192.168.37.102 | node-to-node mesh | up | 17:15:32 | Established | +----------------+-------------------+-------+----------+-------------+

IPv6 BGP status No IPv6 peers found. ``` 测试网络能否通信

```

1.

kubectl run net-test --image=alpine --replicas=4 sleep 360000

kubectl run --generator=deployment/apps.v1 is DEPRECATED and will be removed in a future version. Use kubectl run --generator=run-pod/v1 or kubectl create instead. deployment.apps/net-test created

2.

kubectl get pod

NAME READY STATUS RESTARTS AGE net-test-cd766cb69-24lgk 0/1 ContainerCreating 0 12s net-test-cd766cb69-46dnb 1/1 Running 0 12s net-test-cd766cb69-mwwlt 1/1 Running 0 12s net-test-cd766cb69-snv44 0/1 ContainerCreating 0 12s

3.

kubectl get pod -o wide

NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES net-test-cd766cb69-24lgk 1/1 Running 0 46s 172.20.104.1 192.168.37.111 net-test-cd766cb69-46dnb 1/1 Running 0 46s 172.20.166.129 192.168.37.110 net-test-cd766cb69-mwwlt 1/1 Running 0 46s 172.20.166.130 192.168.37.110 net-test-cd766cb69-snv44 1/1 Running 0 46s 172.20.104.2 192.168.37.111

4.进到其中一个

kubectl exec -it net-test-cd766cb69-24lgk sh

5.查看IP

/ # ifconfig |grep 172.20.104.1 inet addr:172.20.104.1 Bcast:0.0.0.0 Mask:255.255.255.255

6.可以ping通其他主机

/ # ping 172.20.166.129 -c 2

7.ping外网(域名ping不通、因为没做DNS解析)

/ # ping 8.8.8.8 -c 2 ```

Soul_2016
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ansible-playbook部署K8S高可用集群
变成习惯
12-08 3502
通过ansible-playbook，以Kubeadm方式部署K8S高可用集群。 kubernetes安装目录： /etc/kubernetes/ KubeConfig： ~/.kube/config 主机说明： 系统 ip 角色 cpu 内存 hostname CentOS 7.7 192.168.30.128 master >=2 >=2G master1 ...
使用ansible脚本30分钟部署一套生产可用kubernetes集群(最新版 1.28.3 集群二进制部署)
CodingDemo
03-01 1750
本项目采用ansible进行kubernetes的二进制部署，帮助需要的伙伴快速部署一套生产可以用的 k8s 集群。
使用ansible命令部署k8s集群
qq_56776641的博客
12-12 1421
禁用iptables和firewalld服务，kubernetes和docker在运行中会产生大量的iptables规则，为了不让系统规则跟它们混淆，直接关闭系统的规则。下载镜像：此镜像在kubernetes的仓库中,由于网络原因,无法连接，下面提供了一种替代方案下载这些镜像。在安装kubernetes集群之前，必须要提前准备好集群需要的镜像，所需镜像可以通过下面命令查看。，在查看集群状态 此时的集群状态为NotReady，这是因为还没有配置网络插件。，但是如果要使用它，需要手动载入ipvs模块。
HAProxy实现负载均衡及高可用集群（corosync+pacemaker）_使用pacemaker+corosync+haproxy的高可用方案实现云集群多管理节点互相备份冗余(1)
最新发布
2401_83627805的博客
05-05 689
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
k8s-kubernetes--高可用集群的搭建
Gong_yz的博客
03-20 1697
k8s集群用到的高可用技术主要是keepalived和haproxy； keepalived：Keepalived主要是通过虚拟路由冗余来实现高可用功能；haproxy： haproxy 类似于nginx， 是一个负载均衡、反向代理软件。 nginx 采用master-workers 进程模型，每个进程单线程，多核CPU能充分利用。
《Ansible自动化工具篇：Ubuntu操作系统基于ansible工具一键远程离线部署容器版之K8S1.24.17版集群》
东城绝神
08-31 697
《Ansible自动化工具篇：Ubuntu操作系统基于ansible工具一键远程离线部署容器版之K8S1.24.17版集群》
K8s集群搭建ansible部署脚本
04-21
我个人给公司开发的使用ansible部署k8s的脚本，支持vagrant调用ansbile，和直接ansible执行两种方式。k8s二进制组件使用最新的1.23.5 部署以下模块内容包括： preinstall 安装前准备，主机环境初始化，二进制文件...
k8s：使用Ansible Playbook部署Kubernetes高可用性集群
01-31
使用Ansible Playbook进行生产级别的高可用kubernetes扩展部署，包括初始化系统配置，自动签发证书，安装配置等的配置，安装配置haproxy＆keepalive，calico，coredns，metrics-server等，并使用bootstrap方式认证...
Ansible自动化部署K8S集群（包含Ansible，Playbook的使用）
02-17
Ansible自动化部署Kubernetes，超级简单，几分钟就可以部署完成，有部署过程及源代码，Ansible的简单使用以及playbook的使用例子，有完整代码
基于Ubutntu系统使用Ansible一键部署K8S1.24.17容器版集群自动化工具
10-12
2、支持 单机、一主多从、三主多从等 三种部署架构和 六种部署模式的容器版K8S离线集群， 证书有效期为99年。 3、支持 一键部署、分步部署、集群备份（etcd）、集群恢复（etcd）、集群移除 等功能。 4、支持 worker...
Ansible脚本搭建K8s集群.pptx
12-25
### Ansible脚本搭建K8s集群 #### Ansible简介 Ansible是一种新兴的自动化运维...通过以上步骤，我们可以利用Ansible构建一个稳定可靠的K8s高可用集群。这种方式不仅提高了部署效率，还确保了系统的稳定性和安全性。
k8s自动化安装脚本（kubeadm-1.26.3）
北城半夏
04-02 1860
1. 快速部署k8s集群采用kubeadm安装，重新编译、修改证书时间、默认100年安装 2. docker的yum源是基于Centos7.9,版本是：23.0.1 3. 通过nexus私服进行相关离线环境的管理版本：3.37.3.02 4. 安装ansible时，使用docker镜像封装，版本: 2.9.27 5. 安装containerd作为k8s运行时，版本时：1.6.6 6. 安装helm时，使用离线安装，版本: v3.10.2。
ansible一键部署企业级高可用K8S集群
bright的博客
03-24 754
Kubernetes v1.20 企业级高可用集群自动部署（离线版） 注：确保所有节点系统时间一致 yum install ntpdate -y ntpdate time.windows.com 1、找一台服务器安装Ansible yum install epel-release -y yum install ansibl 2、下载所需文件 下载Ansible部署文件： 链接：https://pan.baidu.com/s/1KNqeasZU29jLroyh-mhkHw 提取码：c70d 下载准备
Ansible自动化部署高可用K8S集群
qq_42409495的博客
12-08 2382
1.1 Ansible介绍 Ansible 是一种IT自动化工具。它可以配置系统，部署软件以及协调更高级的IT任务，例如持续部署，滚动更新。Ansible 适用于管理企业IT基础设施，从具有少数主机的小规模到数千个实例的企业环境。Ansible 也是一种简单的自动化语言，可以完美地描述IT应用程序基础结构。 具备以下三个特点： 简单：减少学习成本 强大：协调应用程序生命周期 无代理：可预测，可靠和安全 使用文档：https://releases.ansible.com/ansible/ 安装 A
HAProxy实现负载均衡及高可用集群（corosync+pacemaker）
Sun__s的博客
01-03 599
一、haproxy haproxy 是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的 并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。 实验环境： 虚拟机配置可以参考上篇文章 server1
① OpenStack高可用集群部署方案设计(train版)
linux丶晨星
08-29 4449
文章目录一、硬件配置参考二、节点整体规划三、集群高可用说明四、基础环境1. 设置SSH秘钥分发与hosts文件2. 设置时间同步3. 内核参数、selinux、iptables4. 下载Train版的软件包5. 各服务组件的密码五、Mariadb集群(控制节点)1. 安装与配置修改1.1 在全部controller节点安装mariadb1.2 安装galera相关插件，利用galera搭建集群1.3 初始化mariadb，在全部控制节点初始化数据库密码1.4 修改mariadb配置文件1.5 将contro
ansible 一键部署 kubernetes高可用框架
Fear_w的博客
07-09 999
ansible 一键部署 kubernetes高可用框架（kube-router版） 分享一个自己写的k8s搭建项目 github: https://github.com/Fear2014/kubernetes_ansible_deploy 框架说明 OS:Ubuntu kubernetes1.13.1+etcd3.3.10+kube-router+coredns+descheduler0...
使用kuberspay部署高可用kubernetes集群
zhuchuangang的专栏
08-30 9842
环境 安装 ansible 设置免密登录 下载kuberspay源码 将grcio和quayio的镜像上传到阿里云 镜像替换 配置文件内容 生成集群配置 安装集群 troubles shooting 安装失败清理 参考 0 环境环境： 主机名 IP k8s-node01 172.16.120.151 k8s-node02 172.16.120.152 k8s-node03
ansible + kubeasz 二进制部署K8S高可用集群方案
Yosigo_的博客
08-13 799
代码】ansible + kubeasz 二进制部署K8S高可用集群方案。
使用Ansible部署Kubernetes1.13.3高可用集群实战
"Ansible用于部署Kubernetes 1.13.3的高可用性集群，包括2个主节点，3个从节点，3个etcd节点，1个Harbor，2个Keepalived和HAProxy实例，以及Kubernetes仪表板。涉及的技术栈包括Kubernetes，Docker，Ansible，etcd，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值