kubespray 离线部署 kubernetes集群

已于 2022-06-15 22:11:48 修改
阅读量6.5k 收藏 17
点赞数 2
分类专栏： kubernetes docker 文章标签： kubernetes
于 2020-06-08 16:51:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/networken/article/details/106623080
版权

kubespray简介

Kubespray是开源的部署生产级别 Kubernetes 集群的项目，它整合了Ansible作为部署的工具。

  • 可以部署在AWS，GCE，Azure，OpenStack，vSphere，Packet（Bare metal），Oracle Cloud Infrastructure（Experimental）或Baremetal上
  • 高可用集群
  • 可组合各种组件（例如，选择网络插件）
  • 支持最受欢迎的Linux发行版
  • 持续集成测试

在这里插入图片描述

官网：https://kubespray.io

项目地址：https://github.com/kubernetes-sigs/kubespray

在线部署

国内特殊的网络环境导致使用kubespray特别困难，部分镜像需要从gcr.io拉取，部分二进制文件需要从github下载，所以这里在阿里云上创建3台香港2C4G抢占模式ECS实例进行部署测试。

说明：高可用部署etcd要求3个节点，所以高可用集群最少需要3个节点。

kubespray需要一个部署节点，也可以复用集群任意一个节点，这里在第一个master节点（192.168.0.137）安装kubespray，并执行后续的所有操作。

下载kubespray

#下载正式发布的relese版本
wget https://github.com/kubernetes-sigs/kubespray/archive/v2.13.1.tar.gz
tar -zxvf v2.13.1.tar.gz

或者直接克隆
git clone https://github.com/kubernetes-sigs/kubespray.git -b v2.13.1 --depth=1

安装依赖

cd kubespray-2.13.1/
yum install -y epel-release python3-pip
pip3 install -r requirements.txt

更新 Ansible inventory file，IPS地址为3个ecs实例的内部IP：

cp -rfp inventory/sample inventory/mycluster
declare -a IPS=( 192.168.0.137 192.168.0.138 192.168.0.139)
CONFIG_FILE=inventory/mycluster/hosts.yaml python3 contrib/inventory_builder/inventory.py ${IPS[@]}

查看自动生成的hosts.yaml，kubespray会根据提供的节点数量自动规划节点角色。这里部署2个master节点，同时3个节点也作为node，3个节点也用来部署etcd。

[root@node1 kubespray-2.13.1]# cat inventory/mycluster/hosts.yaml 
all:
  hosts:
    node1:
      ansible_host: 192.168.0.137
      ip: 192.168.0.137
      access_ip: 192.168.0.137
    node2:
      ansible_host: 192.168.0.138
      ip: 192.168.0.138
      access_ip: 192.168.0.138
    node3:
      ansible_host: 192.168.0.139
      ip: 192.168.0.139
      access_ip: 192.168.0.139
  children:
    kube-master:
      hosts:
        node1:
        node2:
    kube-node:
      hosts:
        node1:
        node2:
        node3:
    etcd:
      hosts:
        node1:
        node2:
        node3:
    k8s-cluster:
      children:
        kube-master:
        kube-node:
    calico-rr:
      hosts: {}

修改全局环境变量（默认即可）

cat inventory/mycluster/group_vars/all/all.yml

默认安装版本较低，指定kubernetes版本

# vim inventory/mycluster/group_vars/k8s-cluster/k8s-cluster.yml
kube_version: v1.18.3

配置ssh免密，kubespray ansible节点对所有节点免密。

ssh-keygen
ssh-copy-id 192.168.0.137
ssh-copy-id 192.168.0.138
ssh-copy-id 192.168.0.139

运行kubespray playbook安装集群

ansible-playbook -i inventory/mycluster/hosts.yaml  --become --become-user=root cluster.yml

查看创建的集群

[root@node1 kubespray-2.13.1]# kubectl get nodes -o wide      
NAME    STATUS   ROLES    AGE     VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION                CONTAINER-RUNTIME
node1   Ready    master   3m30s   v1.18.3   192.168.0.137   <none>        CentOS Linux 7 (Core)   3.10.0-1062.18.1.el7.x86_64   docker://18.9.9
node2   Ready    master   2m53s   v1.18.3   192.168.0.138   <none>        CentOS Linux 7 (Core)   3.10.0-1062.18.1.el7.x86_64   docker://18.9.9
node3   Ready    <none>   109s    v1.18.3   192.168.0.139   <none>        CentOS Linux 7 (Core)   3.10.0-1062.18.1.el7.x86_64   docker://18.9.9

[root@node1 kubespray-2.13.1]# kubectl -n kube-system get pods
NAME                                          READY   STATUS    RESTARTS   AGE
calico-kube-controllers-796b886f7c-ftm7c      1/1     Running   0          75s
calico-node-bvx8m                             1/1     Running   1          97s
calico-node-c88d7                             1/1     Running   1          97s
calico-node-gdccq                             1/1     Running   1          97s
coredns-6489c7bb8b-k7gpd                      1/1     Running   0          61s
coredns-6489c7bb8b-wgmjz                      1/1     Running   0          56s
dns-autoscaler-7594b8c675-zqhv6               1/1     Running   0          58s
kube-apiserver-node1                          1/1     Running   0          3m24s
kube-apiserver-node2                          1/1     Running   0          2m47s
kube-controller-manager-node1                 1/1     Running   0          3m24s
kube-controller-manager-node2                 1/1     Running   0          2m47s
kube-proxy-d8qf8                              1/1     Running   0          111s
kube-proxy-g5f95                              1/1     Running   0          111s
kube-proxy-g5vvw                              1/1     Running   0          111s
kube-scheduler-node1                          1/1     Running   0          3m24s
kube-scheduler-node2                          1/1     Running   0          2m47s
kubernetes-dashboard-7dbcd59666-rt78s         1/1     Running   0          55s
kubernetes-metrics-scraper-6858b8c44d-9ttnd   1/1     Running   0          55s
nginx-proxy-node3                             1/1     Running   0          112s
nodelocaldns-b4thm                            1/1     Running   0          56s
nodelocaldns-rlq4v                            1/1     Running   0          56s
nodelocaldns-vx9cc                            1/1     Running   0          56s

清理集群

ansible-playbook -i inventory/mycluster/hosts.yaml  --become --become-user=root reset.yml

离线部署

由于离线包只包含特定版本，该方式仅支持 ubuntu 22.04 server LTS 部署 kubernetes v1.23.7 集群。

离线包构建流程：

在这里插入图片描述

准备一个独立的部署节点192.168.93.23，必须位于集群节点之外。安装 containerd 容器环境：

wget https://github.com/containerd/nerdctl/releases/download/v0.20.0/nerdctl-full-0.20.0-linux-amd64.tar.gz
tar -zxvf nerdctl-full-0.20.0-linux-amd64.tar.gz -C /usr/local
systemctl enable --now containerd buildkit

生成sshkey

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

为集群节点配置免密，需要在部署节点执行

ssh-copy id 192.168.93.20
ssh-copy id 192.168.93.21
ssh-copy id 192.168.93.22

为集群节点配置本地apt源，需要在要部署的集群节点执行

mv /etc/apt/sources.list /etc/apt/sources.list.bak
echo "deb [trusted=yes] http://192.168.93.23:8088/debs/ubuntu2204 ./" | sudo tee /etc/apt/sources.list.d/debs.list

创建compose文件

cat >docker-compose.yaml<<EOF
version: '3.1'
services:
  kubespray:
    container_name: kubespray
    image: registry.cn-shenzhen.aliyuncs.com/cnmirror/kubespray:v2.19.0
    restart: always
    command: sleep infinity
    volumes:
      - kubespray-playbook:/kubespray
      - ${HOME}/.ssh/id_rsa:/root/.ssh/id_rsa

  kubespray-nginx:
    container_name: kubespray-nginx
    image: registry.cn-shenzhen.aliyuncs.com/cnmirror/kubespray-nginx:v2.19.0
    restart: always
    volumes:
      - kubespray-date:/usr/share/nginx/html/files
    ports:
      - 8088:8088

  kubespray-registry:
    image: registry.cn-shenzhen.aliyuncs.com/cnmirror/kubespray-registry:v2.19.0
    container_name: kubespray-registry
    restart: always
    volumes:
      - kubespray-images:/var/lib/registry
    ports:
      - 5000:5000
   
volumes:
  kubespray-playbook:
  kubespray-date:
  kubespray-images:
EOF

运行容器

nerdctl compose up -d

查看部署容器

root@ubuntu:~# nerdctl ps -a
CONTAINER ID    IMAGE                                                                    COMMAND                   CREATED          STATUS    PORTS                     NAMES
b3d7495736c4    registry.cn-shenzhen.aliyuncs.com/cnmirror/kubespray-nginx:v2.19.0       "/docker-entrypoint.…"    4 minutes ago    Up        0.0.0.0:8088->8088/tcp    kubespray-nginx       
c3a395485dbb    registry.cn-shenzhen.aliyuncs.com/cnmirror/kubespray-registry:v2.19.0    "/entrypoint.sh /etc…"    4 minutes ago    Up        0.0.0.0:5000->5000/tcp    kubespray-registry    
e61525ee8bc5    registry.cn-shenzhen.aliyuncs.com/cnmirror/kubespray:v2.19.0             "sleep infinity"          4 minutes ago    Up                                  kubespray

进入容器，创建inventory

nerdctl exec -it kubespray bash
cp -rfp inventory/sample inventory/mycluster
declare -a IPS=(192.168.93.20 192.168.93.21 192.168.93.22)
CONFIG_FILE=inventory/mycluster/hosts.yaml python3 contrib/inventory_builder/inventory.py ${IPS[@]}

定义离线安装变量

cd inventory/mycluster/group_vars/all/

cat >offline.yml<<'EOF'
---
registry_host: "192.168.93.23:5000"
files_repo: "http://192.168.93.23:8088/files"
ubuntu_repo: "http://192.168.93.23:8088/debs/ubuntu2204"

## Container Registry overrides
kube_image_repo: "{{ registry_host }}"
gcr_image_repo: "{{ registry_host }}"
github_image_repo: "{{ registry_host }}"
docker_image_repo: "{{ registry_host }}"
quay_image_repo: "{{ registry_host }}"

## Kubernetes components
kubeadm_download_url: "{{ files_repo }}/storage.googleapis.com/kubernetes-release/release/{{ kube_version }}/bin/linux/{{ image_arch }}/kubeadm"
kubectl_download_url: "{{ files_repo }}/storage.googleapis.com/kubernetes-release/release/{{ kube_version }}/bin/linux/{{ image_arch }}/kubectl"
kubelet_download_url: "{{ files_repo }}/storage.googleapis.com/kubernetes-release/release/{{ kube_version }}/bin/linux/{{ image_arch }}/kubelet"

## CNI Plugins
cni_download_url: "{{ files_repo }}/github.com/containernetworking/plugins/releases/download/{{ cni_version }}/cni-plugins-linux-{{ image_arch }}-{{ cni_version }}.tgz"

## cri-tools
crictl_download_url: "{{ files_repo }}/github.com/kubernetes-sigs/cri-tools/releases/download/{{ crictl_version }}/crictl-{{ crictl_version }}-{{ ansible_system | lower }}-{{ image_arch }}.tar.gz"

## [Optional] etcd: only if you **DON'T** use etcd_deployment=host
etcd_download_url: "{{ files_repo }}/github.com/etcd-io/etcd/releases/download/{{ etcd_version }}/etcd-{{ etcd_version }}-linux-{{ image_arch }}.tar.gz"

# [Optional] Calico: If using Calico network plugin
calicoctl_download_url: "{{ files_repo }}/github.com/projectcalico/calico/releases/download/{{ calico_ctl_version }}/calicoctl-linux-{{ image_arch }}"
calico_crds_download_url: "{{ files_repo }}/github.com/projectcalico/calico/archive/{{ calico_version }}.tar.gz"

helm_download_url: "{{ files_repo }}/get.helm.sh/helm-{{ helm_version }}-linux-{{ image_arch }}.tar.gz"
crun_download_url: "{{ files_repo }}/github.com/containers/crun/releases/download/{{ crun_version }}/crun-{{ crun_version }}-linux-{{ image_arch }}"
kata_containers_download_url: "{{ files_repo }}/github.com/kata-containers/runtime/releases/download/{{ kata_containers_version }}/kata-static-{{ kata_containers_version }}-{{ ansible_architecture }}.tar.xz"

# [Optional] runc,containerd: only if you set container_runtime: containerd
runc_download_url: "{{ files_repo }}/github.com/opencontainers/runc/releases/download/{{ runc_version }}/runc.{{ image_arch }}"
containerd_download_url: "{{ files_repo }}/github.com/containerd/containerd/releases/download/v{{ containerd_version }}/containerd-{{ containerd_version }}-linux-{{ image_arch }}.tar.gz"
nerdctl_download_url: "{{ files_repo }}/github.com/containerd/nerdctl/releases/download/v{{ nerdctl_version }}/nerdctl-{{ nerdctl_version }}-{{ ansible_system | lower }}-{{ image_arch }}.tar.gz"
EOF

配置insecure_registries参数

cp /kubespray/inventory/mycluster/group_vars/all/containerd.yml{,.bak}
cat <<EOF>/kubespray/inventory/mycluster/group_vars/all/containerd.yml
containerd_insecure_registries:
  "192.168.93.23:5000": "http://192.168.93.23:5000"
EOF

开始部署集群

cd /kubespray
ansible-playbook -i inventory/mycluster/hosts.yaml  --become --become-user=root cluster.yml

查看集群运行状态

root@ubuntu:~# kubectl get nodes -o wide
NAME    STATUS   ROLES                  AGE   VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE           KERNEL-VERSION      CONTAINER-RUNTIME
node1   Ready    control-plane,master   15h   v1.23.7   192.168.93.20   <none>        Ubuntu 22.04 LTS   5.15.0-27-generic   containerd://1.6.4
node2   Ready    control-plane,master   15h   v1.23.7   192.168.93.21   <none>        Ubuntu 22.04 LTS   5.15.0-27-generic   containerd://1.6.4
node3   Ready    <none>                 15h   v1.23.7   192.168.93.22   <none>        Ubuntu 22.04 LTS   5.15.0-27-generic   containerd://1.6.4

root@ubuntu:~# kubectl get pods -A
NAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE
kube-system   calico-kube-controllers-55c778f487-vx9nc   1/1     Running   0          16h
kube-system   calico-node-6cw2j                          1/1     Running   0          16h
kube-system   calico-node-h8x5j                          1/1     Running   0          16h
kube-system   calico-node-vlrh4                          1/1     Running   0          16h
kube-system   coredns-56fc47f88f-wfx4q                   1/1     Running   0          16h
kube-system   coredns-56fc47f88f-zb92t                   1/1     Running   0          16h
kube-system   dns-autoscaler-f6897fd5b-b854l             1/1     Running   0          16h
kube-system   kube-apiserver-node1                       1/1     Running   1          16h
kube-system   kube-apiserver-node2                       1/1     Running   1          16h
kube-system   kube-controller-manager-node1              1/1     Running   1          16h
kube-system   kube-controller-manager-node2              1/1     Running   1          16h
kube-system   kube-proxy-sm52q                           1/1     Running   0          16h
kube-system   kube-proxy-wtrqz                           1/1     Running   0          16h
kube-system   kube-proxy-xf8k7                           1/1     Running   0          16h
kube-system   kube-scheduler-node1                       1/1     Running   1          16h
kube-system   kube-scheduler-node2                       1/1     Running   1          16h
kube-system   nginx-proxy-node3                          1/1     Running   0          16h
kube-system   nodelocaldns-5lld5                         1/1     Running   0          16h
kube-system   nodelocaldns-hhlch                         1/1     Running   0          16h
kube-system   nodelocaldns-pgfdh                         1/1     Running   0          16h

参考：

https://github.com/willzhang/kubespray-offline

https://github.com/k8sli/kubeplay

https://blog.k8s.li/kubespray-tips.html

https://www.hi-linux.com/posts/27427.html

willops
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
Kubespray离线创建Kubernetes并与Portal集成管理.docx
10-24
Kubespray离线创建Kubernetes并与Portal集成管理.docx
使用Kubespray部署Kubernetes集群
热门推荐
方志朋的专栏
09-16 3万+
Kubespray是Google开源的一个部署生产级别的Kubernetes服务器集群的开源项目，它整合了Ansible作为部署的工具。项目地址：https://github.com/kubernetes-incubator/kubespray 部署历程 目前为止，对于Kubernetes集群的部署，我只谈的上是一个入门者，涉及到了众多的运维知识，对于一个开发来说，确实挺难的。万事开头难，好事...
离线安装kubesphere-详细操作，以及报错
最新发布
qiao2458的博客
06-28 731
离线安装kubesphere官网地址
Kubespray v2.21.0 离线部署 Kubernetes v1.25.6 集群
爱死亡机器人
04-19 2898
Kubespray可以部署在 AWS, GCE, Azure, OpenStack 以及裸机上.部署 High Available Kubernetes 集群.可组合性 (Composable)，可自行选择 Network Plugin (flannel, calico, canal, weave) 来部署.支持多种 Linux distributions。
《Kubernetes部署篇：基于docker使用kubespray工具离线部署高可用K8S集群(国内专网方案)》
东城绝神
04-28 3318
文章目录一、部署背景简介二、部署工具介绍三、部署方案介绍四、部署环境信息五、部署资源下载六、部署准备工作6.1、系统内核升级6.2、设置主机名6.3、环境初始化6.4、ssh多机互信6.5、安装基础包6.6、配置时间同步七、部署操作步骤7.1、下载解压源码7.2、安装依赖软件7.3、查看文件及镜像下载地址7.4、部署http服务器7.5、部署私有仓库7.6、生成inventory配置7.7、修改内部文件及镜像地址7.8、个性化配置7.9、修改docker私有仓库地址7.10、修改docker服务yum仓库源
kubespray离线安装k8s
神棍之路
06-14 1050
OS: Static hostname: test Icon name: computer-vm Chassis: vm Machine ID: 22349ac6f9ba406293d0541bcba7c05d Boot ID: 83bb7e5dbf27453c94ff9f1fe88d5f02 Virtualization: vmware Operating System: Ubuntu 22.04.4 LTS Kernel: Linux 5.15.0-105-generic Architecture: x
kubespray部署高可用kubernetes集群(国内镜像)
01-07
kubespray 使用 ansible 快速部署容器化 高可用 k8s 集群 环境 主机 内网ip 外网ip 系统 k8s-1 10.0.0.18 61.xxx.xxx.187 ubuntu 18.04 k8s-2 10.0.0.19 ubuntu 18.04 k8s-3 10.0.0.20 ubuntu 18.04 ...
kubespray-deployer:使用Kubespray轻松部署Kubernetes集群
05-01
Kubespray部署器 Kubespray Deployer是用于通过Docker 轻松的包装器。 TL; DR # work/cluster_inventory.yml - hostname : master1 type : master - hostname : master2 type : master - hostname : worker1 ...
kubeadm离线部署Kubernetes v1.10
10-19
### kubeadm离线部署Kubernetes v1.10 #### 整体规划与环境配置 本章节主要介绍如何使用kubeadm在CentOS 7.4.1708系统上进行Kubernetes v1.10的离线部署。部署过程中，将采用全Docker化的方式进行，确保集群的稳定...
Kubernetes集群部署
02-27
Kubernetes集群部署 Kubernetes集群部署是指将Kubernetes集群安装和配置到多台机器上，实现高可用性和负载均衡的分布式系统。下面将详细介绍Kubernetes集群部署的步骤和相关知识点： Step 1: 准备环境 在开始部署...
搭建部署Kubernetes集群
01-14
在本教程中，我们将深入探讨如何搭建部署一个Kubernetes（简称k8s）集群。Kubernetes 是一个开源的容器编排系统，它可以帮助管理和自动化容器化的应用部署、扩展和管理。我们将按照以下步骤进行： 1. **环境准备**...
kubespray离线安装k8s集群
linuxxin的博客
05-01 1509
国内安装k8s集群，下载镜像往往失败或者半天下载不下来，导致安装不成功，影响摸鱼心情。 是否可以通过kubespray离线部署k8s集群。 完全可以的，准备就绪后，只需10多分钟即可搭建出一套高可用的k8s集群，心情畅悦。
kubespray部署Kubernetes高可用集群
邢宁
03-05 997
前言 kubespray基于ansible-playbook完成集群部署，可以自动完成操作系统层面配置，利用了kubeadm作为集群管理工具，这里介绍一下是如何使用的。 实验环境 本机mac 部署节点 192.168.0.61 k8s-master 192.168.0.62 k8s-master 192.168.0.63 k8s-node 一、环境准备 1、安装docker #需要在每个节点上安装docker apt install docker.io 2、配置docker c
kubespray部署k8s-v1.26.6
大虾别跑
07-12 2122
kubespray部署k8s-v1.26.6
kubernetes离线部署包
u014442879的博客
05-08 172
ansible一键安装kubernetes1.20.4离线部署，包含harbor，efk，promethus，nfs,，可以根据需要自行组合部署 地址：https://gitee.com/phpdavid/ansible-k8s-v1.20
【k8s】Kubernetes 1.29.4离线安装部署（总）
Qinghub‘博客
04-19 5242
Kubernetes 1.29.4 离线安装部署；脚本化快速部署；容器运行时采用Containerd；逐步支持多平台部署。
kubespray部署Kubernets集群
悦分享
10-13 326
Kubernetes Dashboard 是一个管理Kubernetes集群的全功能Web界面，旨在以UI的方式完全替代命令行工具（kubectl 等）。kubespray 默认已经部署了dashboard，我们只需要简单修改kubeconfig 文件，然后在通过ingress 添加路由就能正常访问。2、修改dashboard文件添加nodeport访问方式。
centos7 Kubernetes1.20.x 离线部署详细文档
shine的博客
11-19 1076
待定
离线安装kubernetes
不许人间丶见白头
05-23 968
主机名IP配置说明k8s-master4核8G，50G系统盘主节点k8s-node14核8G，50G系统盘工作节点1k8s-node24核8G，50G系统盘工作节点2hunkchou2核2G本地虚拟机，用于下载离线安装包。
kubespray离线部署
05-30
Kubespray可以通过离线方式进行部署，具体步骤如下： 1. 在离线服务器上下载Kubernetes所需的Docker镜像和二进制文件，并将它们打包成一个tar文件。 2. 在在线服务器上使用kubespray安装Kubernetes集群，生成所需的配置文件和脚本。 3. 将生成的配置文件和脚本，以及离线服务器上下载的tar文件，拷贝到离线服务器上。 4. 在离线服务器上执行部署脚本，以安装Kubernetes集群。 在离线部署Kubernetes集群时，需要注意以下几点： 1. 离线服务器上需要安装所需的依赖软件和工具，如Ansible、Python等。 2. 在生成配置文件和脚本时，需要指定离线服务器上所存储的Docker镜像和二进制文件的路径。 3. 在执行部署脚本时，需要确保离线服务器上的所有依赖软件和工具都已经安装，并且所需的Docker镜像和二进制文件已经下载并存储在指定的路径下。 4. 部署过程中可能会遇到网络连接问题，需要确保离线服务器上的网络连接正常，并且所有需要连接的组件都已经正确设置。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值