shell 脚本实现 k8s 集群环境下指定 ns 资源的 yaml 文件备份

已于 2023-01-12 09:48:52 修改
阅读量1.1k 收藏 8
点赞数 8
分类专栏： Kubernetes & 容器化资源编排管理 Linux 文章标签： kubernetes linux kubectl shell XShell
于 2023-01-12 06:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ChaITSimpleLove/article/details/128651578
版权

shell 脚本实现 k8s 集群环境下指定 ns 资源的 yaml 文件备份

在这里插入图片描述

需求说明

在基于 k8s 平台的容器化部署环境中，有时候需要快速的实现部署文件的迁移备份，当 k8s 平台部署一个 app 时，都会相应的产生一堆 yaml 文件，如果 yaml 文件数量较少，我们可以人工手动的方式进行拷贝，但是当 yaml 文件数量多，并且该 k8s 平台部署了多个 app 时，如果在采用人工手动的方式实现这些 yaml 文件的拷贝，可想而知这个工作量是相当多且繁琐的，而这些机械化的人工操作还会产生误差，无法保障文件内容质量，针对这种场景，因此我们采用 shell 脚本来实现快速的 yaml 文件迁移拷贝，相应的提升工作效率并保障 yaml 文件内容质量。

功能实现

实现思路，这里主要是应用了 【bash & kubectl 】组合知识点，实现对 k8s 平台上指定 namespaces（ns，命名空间）下指定资源的 yaml 文件拷贝，shell 脚本实现如下：

shell 脚本实现

dump-k8s-yaml.sh 工具 shell 脚本编写如下：

#!/bin/bash

useage(){
    echo "Useage:"
    echo "  bash ./dump-k8s-yaml.sh DUMPDIR KUBECONFIG [NAMESPACE]"
}
 
if [ $# -lt 1 ];then
    useage
    exit
fi

dumpDir=$1
KF=$2
NS=$3
 
resourceList=(
  #componentstatuses       # cs
  configmaps              # cm
  secrets
  persistentvolumeclaims  # pvc
  events                  # ev
  serviceaccounts         # sa
  endpoints               # ep
  services                # svc
  ingress
  daemonsets              # ds
  deployments             # deploy
  replicasets             # rs
  statefulsets            # sts
  jobs
  cronjobs                # cj
  pods                    # po
)

showResourceList(){
  kubectl --kubeconfig=$KF -n=$NS get nodes
  kubectl --kubeconfig=$KF --sort-by=.metadata.name -n=$NS get pods
  kubectl --kubeconfig=$KF -n=$NS get cm,secrets,pvc,ev,sa,ep,svc,ingress,ds,deploy,rs,sts,jobs,cj
}

printList(){
  for aa in ${resourceList[@]};
  do
    aList=$(kubectl --kubeconfig=$KF -n=$NS get $aa | grep -v NAME | awk '{print $1}')
    if [ ! "${aList[*]}"x == "x" ];then
      [ -d $dumpDir/$aa ] || mkdir -p $dumpDir/$aa
      for i in $aList;
      do
        echo $aa $i
        kubectl --kubeconfig=$KF -n=$NS get $aa $i -o yaml > $dumpDir/$aa/$i.yaml
      done
    fi
  done
}

zipExec(){
  #sudo apt install zip unzip
  #zip -v
  #unzip -v
  zip -r -q $dumpDir.zip file $dumpDir
  rm -rf $dumpDir
}
 
# create namespaces yaml
if [ ! -d $dumpDir ];then
  mkdir -p -m 777 ./$dumpDir
fi

kubectl --kubeconfig=$KF get namespaces $NS -o yaml > $dumpDir/$NS.yaml

# create pv yaml
pvList=$(kubectl --kubeconfig=$KF get pv | grep "$NS/" | awk '{print $1}')
if [ ! "${pvList[*]}"x == "x" ];then
  [ -d $dumpDir/persistentvolumes ] || mkdir -p $dumpDir/persistentvolumes
  for i in ${pvList[@]}
  do
    echo persistentvolumes $i
    kubectl --kubeconfig=$KF get pv $i -o yaml > $dumpDir/persistentvolumes/$i.yaml
  done
fi

echo "----[showResourceList]-----------------------"
showResourceList
echo "----[printList]-----------------------"
printList
echo "----[zipExec]-----------------------"
zipExec
echo "export ${NS} ymal completed!"

:<<!
使用方法：
bash dump-k8s-yaml.sh ./demons ./kube.conf demons

举例：
bash ./dump-k8s-yaml.sh ./dotnet-escada ./kube.conf dotnet-escada
!

shell 使用方式

注意：使用此命令，需要获得 kubectl 访问 k8s 集群环境的相应权限（即 kubeconfig 配置信息）；

前置工具环境安装

从上面的 dump-k8s-yaml.sh 文件中可以看到部分工具的依赖，说明如下：

  • xshell 工具安装（请参照）；
  • 在 shell 终端（此处使用的 XShell）配置好 kubectl 工具，并获取到 kubeconfig 文件；
  • linux 环境安装文件压缩 & 解压工具 zip & unzip；
  • linux 环境安装 lrzsz 工具（说明 lrzsz 工具只适合传输小文件，不适合传输大型文件，通常情况 lrzsz 配合 xshell 工具使用）；

说明：此处 linux 环境的工具安装命令，适用基于 Ubuntu 的发行版，本人使用的环境是 Debian 11。其他 linux 发行版请自行查看对应的安装命令即可，下面的 dump-k8s-yaml.sh 工具在 linux 环境均可通用；

1、配置 kubectl，并导出 kubeconfig 文件请自行参考相关资料；

2、linux 宿主机没有安装 zip & unzip 工具，执行如下命令：

# linux 安装 zip，unzip：
   sudo apt install zip unzip

# 查看版本：
   zip -v
   unzip -v

# zip 压缩文件：
   zip -r -q dump-yaml.zip file ./dump-yaml

# unzip 压缩文件：
   unzip dump-yaml.zip

3、linux 宿主机安装 lrzsz 工具，执行如下命令：

sudo apt update && apt install lrzsz
...
XShell 文件上传 & 下载：
# 上传文件：rz 
# 单个文件下载：sz file dump-yaml.zip
# 多文文件下载（文件中间使用空格分开）：sz file dump-yaml-1.zip dump-yaml-2.zip

dump-k8s-yaml.sh 使用方式

注意：使用【xshell& lrzsz】工具，先把【dump-k8s-yaml.sh】工具上传到 linux 环境，并指定 kubeconfig 文件，此处该文件名称为 kube.conf，和 dump-k8s-yaml.sh 工具是在同一个目录环境下（DUMPDIR 指定方便路径）， kubeconfig 文件也可以放在其他路径。

在 linux 宿主机中准备好上面这些基础环境的配置和 shell 客户端工具安装后，接下来我们就可以使用 dump-k8s-yaml.sh 实现 k8s 环境中指定资源的 yaml 文件导出了，使用方式如下：

输入命令 bash ./dump-k8s-yaml.sh
cloud@k8s-node-1:~$ bash ./dump-k8s-yaml.sh 
Useage:
  bash ./dump-k8s-yaml.sh DUMPDIR KUBECONFIG [NAMESPACE]
  • 参数说明：
  1. bash 指定 shell 终端类型；
  2. ./dump-k8s-yaml.sh 当前目录下的 dump-k8s-yaml.sh 工具；
  3. DUMPDIR 指定 .zip 文件路径；
  4. KUBECONFIG 指定 kubeconfig 文件路径；
  5. NAMESPACE 指定 k8s 环境中 ns 命名空间名称；
dump-k8s-yaml.sh 应用举例
  • 举例：导出 ns 为 dotnet-escada 下指定资源的 yaml 文件，并保存到当前路径的 dotnet-escada 目录中；
bash ./dump-k8s-yaml.sh ./dotnet-escada ./kube.conf dotnet-escada

dump-k8s-yaml.sh 输出日志信息

依据上面使用说明执行命令，输出如下日志结构信息：

persistentvolumes pvc-7a0027c9-84f7-40f9-90b2-929d1514d156
----[showResourceList]-----------------------
NAME                   READY   STATUS    RESTARTS   AGE
...
----[printList]-----------------------
...
----[zipExec]-----------------------
export dotnet-escada ymal completed!

以上面的【举例】为依据，执行命令输出完整日志信息如下：

cloud@demo-k8s-node-1:~$ bash ./dump-k8s-yaml.sh ./dotnet-escada ./kube.conf dotnet-escada
persistentvolumes pvc-7a0027c9-84f7-40f9-90b2-929d1514d156
----[showResourceList]-----------------------
NAME                                                    READY   STATUS    RESTARTS   AGE
deploy-demo-mes-keeperfile-host-75f8878ff7-8q98x    1/1     Running   2          27h
deploy-demo-mes-redis-55fc5dd9cc-6vtkh              1/1     Running   2          27h
deploy-demo-nginx-host-ddddfc864-zxkjb              1/1     Running   5          27h
deploy-demo-smartworx-plugs-host-5d9bd5c99c-rgtxh   0/1     Evicted   0          28h
NAME                                                   DATA   AGE
configmap/demo-mes-authentication-service-config   1      30h
configmap/demo-mes-config                          1      30h
configmap/demo-mes-keeper-appseetings              2      30h
configmap/demo-mes-nginx-config                    1      29h
configmap/demo-mes-nginx-service-config            1      29h
configmap/demo-mes-redis-service-config            1      27h
configmap/kube-root-ca.crt                             1      31h

NAME                                                                              TYPE                                  DATA   AGE
secret/ceph-kubernetes-dynamic-user-01847765-90af-11ed-bbdc-06eca119f7b2-secret   Opaque                                1      31h
secret/default-token-k85zv                                                        kubernetes.io/service-account-token   3      31h

NAME                                             STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/pvc-demo-escada-data   Bound    pvc-7a0027c9-84f7-40f9-90b2-929d1514d156   10Gi       RWO            cephfs         31h

LAST SEEN   TYPE     REASON   OBJECT                        MESSAGE
3m24s       Normal   Sync     ingress/escada-inkelink-com   Scheduled for sync
3m22s       Normal   Sync     ingress/escada-inkelink-com   Scheduled for sync

NAME                     SECRETS   AGE
serviceaccount/default   1         31h

NAME                                      ENDPOINTS         AGE
endpoints/demo-mes-keeperfile-host    10.44.0.12:80     28h
endpoints/demo-mes-redis              10.44.0.45:6379   27h
endpoints/demo-nginx-host             10.44.0.20:80     27h
endpoints/demo-scada-base-host        <none>            28h
endpoints/demo-smartworx-host         <none>            28h
endpoints/demo-smartworx-plugs-host   <none>            28h

NAME                                    TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
service/demo-mes-keeperfile-host    ClusterIP      10.108.90.134    <none>        80/TCP         28h
service/demo-mes-redis              ClusterIP      10.99.71.77      <none>        6379/TCP       27h
service/demo-nginx-host             LoadBalancer   10.108.145.181   10.23.4.193   80:31995/TCP   27h
service/demo-scada-base-host        ClusterIP      10.110.121.140   <none>        80/TCP         28h
service/demo-smartworx-host         ClusterIP      10.110.63.82     <none>        80/TCP         28h
service/demo-smartworx-plugs-host   ClusterIP      10.105.115.242   <none>        80/TCP         28h

NAME                                            CLASS   HOSTS                 ADDRESS       PORTS   AGE
ingress.networking.k8s.io/escada-inkelink-com   nginx   escada.inkelink.com   10.23.4.192   80      27h

NAME                                                   READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/deploy-demo-mes-keeperfile-host    1/1     1            1           28h
deployment.apps/deploy-demo-mes-redis              1/1     1            1           27h
deployment.apps/deploy-demo-nginx-host             1/1     1            1           27h
deployment.apps/deploy-demo-scada-base-host        0/0     0            0           28h
deployment.apps/deploy-demo-smartworx-host         0/0     0            0           28h
deployment.apps/deploy-demo-smartworx-plugs-host   0/0     0            0           28h

NAME                                                              DESIRED   CURRENT   READY   AGE
replicaset.apps/deploy-demo-mes-keeperfile-host-75f8878ff7    1         1         1       28h
replicaset.apps/deploy-demo-mes-redis-55fc5dd9cc              1         1         1       27h
replicaset.apps/deploy-demo-nginx-host-ddddfc864              1         1         1       27h
replicaset.apps/deploy-demo-scada-base-host-6cb55ccd97        0         0         0       28h
replicaset.apps/deploy-demo-smartworx-host-7df5945c7          0         0         0       28h
replicaset.apps/deploy-demo-smartworx-host-856db4cd49         0         0         0       28h
replicaset.apps/deploy-demo-smartworx-host-9c5ff7859          0         0         0       26h
replicaset.apps/deploy-demo-smartworx-plugs-host-5d9bd5c99c   0         0         0       28h

NAME                                                        READY   STATUS    RESTARTS   AGE
pod/deploy-demo-mes-keeperfile-host-75f8878ff7-8q98x    1/1     Running   2          27h
pod/deploy-demo-mes-redis-55fc5dd9cc-6vtkh              1/1     Running   2          27h
pod/deploy-demo-nginx-host-ddddfc864-zxkjb              1/1     Running   5          27h
pod/deploy-demo-smartworx-plugs-host-5d9bd5c99c-rgtxh   0/1     Evicted   0          28h
----[printList]-----------------------
configmaps demo-mes-authentication-service-config
configmaps demo-mes-config
configmaps demo-mes-keeper-appseetings
configmaps demo-mes-nginx-config
configmaps demo-mes-nginx-service-config
configmaps demo-mes-redis-service-config
configmaps kube-root-ca.crt
secrets ceph-kubernetes-dynamic-user-01847765-90af-11ed-bbdc-06eca119f7b2-secret
secrets default-token-k85zv
persistentvolumeclaims pvc-demo-escada-data
events LAST
Error from server (NotFound): events "LAST" not found
events 3m26s
Error from server (NotFound): events "3m26s" not found
events 3m24s
Error from server (NotFound): events "3m24s" not found
serviceaccounts default
endpoints demo-mes-keeperfile-host
endpoints demo-mes-redis
endpoints demo-nginx-host
endpoints demo-scada-base-host
endpoints demo-smartworx-host
endpoints demo-smartworx-plugs-host
services demo-mes-keeperfile-host
services demo-mes-redis
services demo-nginx-host
services demo-scada-base-host
services demo-smartworx-host
services demo-smartworx-plugs-host
ingress escada-inkelink-com
No resources found in demo-dotnet-escada namespace.
deployments deploy-demo-mes-keeperfile-host
deployments deploy-demo-mes-redis
deployments deploy-demo-nginx-host
deployments deploy-demo-scada-base-host
deployments deploy-demo-smartworx-host
deployments deploy-demo-smartworx-plugs-host
replicasets deploy-demo-mes-keeperfile-host-75f8878ff7
replicasets deploy-demo-mes-redis-55fc5dd9cc
replicasets deploy-demo-nginx-host-ddddfc864
replicasets deploy-demo-scada-base-host-6cb55ccd97
replicasets deploy-demo-smartworx-host-7df5945c7
replicasets deploy-demo-smartworx-host-856db4cd49
replicasets deploy-demo-smartworx-host-9c5ff7859
replicasets deploy-demo-smartworx-plugs-host-5d9bd5c99c
No resources found in demo-dotnet-escada namespace.
No resources found in demo-dotnet-escada namespace.
No resources found in demo-dotnet-escada namespace.
pods deploy-demo-mes-keeperfile-host-75f8878ff7-8q98x
pods deploy-demo-mes-redis-55fc5dd9cc-6vtkh
pods deploy-demo-nginx-host-ddddfc864-zxkjb
pods deploy-demo-smartworx-plugs-host-5d9bd5c99c-rgtxh
----[zipExec]-----------------------
export dotnet-escada ymal completed!

dump-k8s-yaml.sh 执行完成后，在当前环境目录下会生成一个对应的 .zip 压缩文件，上面例子中对应产生的文件是 dotnet-escada.zip ，此时我们可以利用【xshell & lrzsz】工具下载 dotnet-escada.zip 文件，执行命令如下：

sz file dotnet-escada.zip

参考文档

  • kubectl 命令行工具，https://kubernetes.io/zh-cn/docs/reference/kubectl/
ChaITSimpleLove
关注
  • 8
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
专栏目录
【06】编写shell-备份k8s集群yaml文件
欢迎你们到来，希望能帮到大家
02-24 287
手有余粮，心中不慌，定期备份yaml文件
备份k8s(kubernetes)集群所有资源yaml到oss和obs（阿里云和华为云）
运维小桃子
11-27 666
备份k8s(kubernetes)集群所有资源yaml到oss和obs（阿里云和华为云）
k8s备份yaml
罗小爬的技术宝书
11-26 1624
备份脚本 在这里插入代码片 集成k8s cronjob 制作备份镜像 依赖docker Ubuntu 16.04 将k8s环境的/usr/bin/kubectl拷贝进容器中， 并将对应环境的config文件挂到/root/.kube/config位置（可以先不设置，后续通过k8s configmap进行挂载） 新建k8s config文件对应的configmap（并通过k8s将该configmap挂载到对应的cronjob容器中） kubectl create configmap kube-c
云原生k8s的shell神操作
最新发布
weixin_28786293的博客
07-08 25
shell,k8s,云原生相关视频讲解：Linux shell脚本编程入门详细讲解Prometheus监控系统介绍干掉99%传统运维，代码上线效率提升百倍：基于Jenkins和k8s构建CICD流水线云原生k8s的shell神操作 什么是云原生k8s？ 云原生是一种构建和运行应用程序的方法，利用云计算的弹性、可伸缩和...
备份k8s_kubernetes集群中Etcd 备份与恢复 + 备份脚本
weixin_35196629的博客
01-14 1272
先来谈谈为什么要备份，首先我etcd 是部署的3节点的集群 ，按理说 已经算上是高可用了吧，大家都知道etcd 是 k8s 集群 中配置存储中心，与api-server 进行互相通信，任何写入的操作最终的数据都落地到etcd 中，可见etcd 在k8s 集群中的重要性。但是 一些队友 在k8s 中的一些误操作 还是要对etcd 的数据进行备份，提高数据安全性。etcd数据备份和恢复时要注意使用的A...
使用shell脚本生成*Db.java、*.thrift或*.yaml文件语句
狂奔的蜗牛
01-11 2595
照着数据库里的建表语句一个个去写对数据表的操作的java语句时是很烦的，而且很容易出错，为什么不用新的的方法来实现这些功能呢。于是就想到了用shell语句来完成这些任务，效果见下面部分。前面博客文章介绍了使用shell命令生成*Db.java、*.thrift或*.yaml文件所需语句，但使用起来并不是那么顺手，还需一条条执行，很繁琐，于是想直接将上述命令生成一个shell脚本，执行时只需传入一个sql建表语句的文件
最新XXLJOB K8S 集群部署验证版 YAML文件直接部署成功
06-05
最新XXLJOB K8S 集群部署验证版 YAML文件直接部署成功.
k8s下部署nginx集群部署方式(相关yaml文件的编写和说明)
07-31
在Kubernetes（k8s）环境下，部署Nginx集群是一项常见的任务，它涉及到容器编排、服务发现、负载均衡等多个重要概念。本篇将详细阐述如何使用YAML文件进行Nginx集群的配置和部署。 首先，让我们了解YAML文件在k8s中...
k8s nacos集群部署脚本yaml
10-26
k8s 部署nacos极简配置脚本，简化很多复杂配置方式；按照执行顺序，小白都能操作。 1-nacos-db-config.yaml 2-nacos-headless.yaml 3-naocs-statefulset.yaml 4-nacos-service.yaml 5-nacos-service-ingress.yaml
K8s中yaml文件详解（超详细）
06-07
- 在YAML文件中，`apiVersion` 字段指定了资源所属的API组及其版本。选择正确的版本至关重要，因为它决定了可用的资源类型及其行为。 2. **版本控制**: - 配置文件应保存在版本控制系统中，以便跟踪更改历史并...
shell脚本解析yaml文件变量工具
09-08
原文：https://editor.csdn.net/md/?articleId=120167145
k8s集群网络解决方案 calico.yaml k8s
10-26
在Kubernetes（简称k8s）集群环境中，网络通信是至关重要的组成部分，它确保了Pods（容器化应用实例）和服务之间的高效、安全通信。Calico作为一款流行的网络插件，为k8s提供了高性能、灵活且可扩展的网络解决方案。...
k8s 创建mysql的 全套yaml文件
04-13
在Kubernetes（k8s）集群中创建MySQL数据库服务，通常涉及到多个YAML文件的配置，这些文件共同定义了MySQL的部署、服务、持久卷和持久卷声明等组件。以下是对这一过程的详细阐述： 首先，`mysql-deployment.yaml`是...
最新Nacos K8S 集群部署验证版 YAML文件直接部署成功
06-05
在本主题中，我们将深入探讨如何使用YAML文件在Kubernetes（K8S）集群上部署最新的Nacos实例。Nacos是一款由阿里云开发的分布式服务治理和配置中心，它提供服务注册与发现、配置管理、健康检查等功能，是微服务架构...
nacos-k8s-yaml.zip
09-01
在Kubernetes（简称k8s）环境中，Nacos可以通过YAML文件进行部署，实现服务在容器集群中的高可用和动态管理。本文将深入探讨如何使用YAML文件在k8s上部署Nacos集群，以及如何结合NFS（Network File System）实现数据...
使用linux shell读取yaml文件
u014727826的博客
01-17 1万+
一. Linux 安装python3.7.0 centos6/7，centos系统本身默认安装有python2.x(其实我是centos6.5，centos默认安装python2.6.6)，版本x根据不同版本系统有所不同，可通过 python --V 或 python --version 查看系统自带的python版本有一些系统命令时需要用到python2，不能卸载 1. 安装依赖包 1）首先安装...
linux shell脚本读取并解析yaml文件
耶律大石的博客
11-14 7053
可以支持简单的yaml文件读取和解析。yaml文件格式，必须要有冒号+空格。
《Linux运维实战：shell脚本解析yaml文件变量》
热门推荐
东城绝神
09-07 1万+
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ChaITSimpleLove

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值