09-K3S 安装-私有镜像仓库配置参考

最新推荐文章于 2024-08-22 14:23:10 发布
最新推荐文章于 2024-08-22 14:23:10 发布
阅读量4.5k 收藏 7
点赞数 1
分类专栏： # K3s 文章标签： docker 运维 kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40274679/article/details/130155753
版权

1 私有镜像仓库配置参考

K3s 默认使用 containerd 作为容器运行时，所以在 docker 上配置镜像仓库是不生效的[ 除非将容器运行时环境设置为Docker，本篇以containerd作为容器运行时环境 ]

K3s registry 配置目录为： /etc/rancher/k3s/registries.yaml。K3s 启动时，K3s 会检查 /etc/rancher/k3s/ 中是否存在 registries.yaml 文件，并指示 containerd 使用文件中定义的镜像仓库。如果你想使用一个私有的镜像仓库，那么你需要在每个使用镜像仓库的节点上以 root 身份创建这个文件。

请注意，server 节点默认是可以调度的。如果你没有在 server 节点上设置污点，那么将在它们上运行工作负载，请确保在每个 server 节点上创建 registries.yaml 文件。

1.1 镜像仓库配置文件

K3s 镜像仓库配置文件由两大部分组成：mirrors 和 configs

  • Mirrors 是一个用于定义专用镜像仓库的名称和 endpoint 的指令
  • Configs 部分定义了每个 mirror 的 TLS 和证书配置。对于每个 mirror，你可以定义auth和/或tls

containerd 使用了类似 Kubernetes 中 svc 与 endpoint 的概念，svc 可以理解为访问名称，这个名称会解析到对应的 endpoint 上。 也可以理解 mirror 配置就是一个反向代理，它把客户端的请求代理到 endpoint 配置的后端镜像仓库。mirror 名称可以随意填写，但是必须符合IP或域名的定义规则。并且可以配置多个 endpoint，默认解析到第一个 endpoint，如果第一个 endpoint 没有返回数据，则自动切换到第二个 endpoint，以此类推。

示例：

# mirrors 可以定义多个私有镜像仓库的名称
mirrors:
  "172.31.6.200:5000": # 私有镜像仓库的名称
    endpoint:
      - "http://172.31.6.200:5000"
      - "http://x.x.x.x:5000"
      - "http://y.y.y.y:5000"
  "rancher.ksd.top:5000": # 私有镜像仓库的名称
    endpoint:
      - "http://172.31.6.200:5000"
  "docker.io": # 私有镜像仓库的名称
    endpoint:
      - "https://fogjl973.mirror.aliyuncs.com"
      - "https://registry-1.docker.io"
# 类似于Kubernetes 的Service和Endpoint的关系

# configs 配置私有镜像仓库的相应的用户名和密码以及证书信息
configs:
  "172.31.6.200:5000":
    auth:
      username: admin
      password: Harbor@12345
    tls:
      cert_file: /home/ubuntu/harbor2.kingsd.top.cert
      key_file:  /home/ubuntu/harbor2.kingsd.top.key
      ca_file:   /home/ubuntu/ca.crt

可以通过 crictl pull 172.31.6.200:5000/library/alpine 和 crictl pull rancher.ksd.top:5000/library/alpine 获取到镜像，但镜像都是从同一个仓库获取到的。

root@rancher-server:/etc/rancher/k3s# systemctl restart k3s.service
root@rancher-server:/etc/rancher/k3s# crictl pull 172.31.6.200:5000/library/alpine
Image is up to date for sha256:a24bb4013296f61e89ba57005a7b3e52274d8edd3ae2077d04395f806b63d83e
root@rancher-server:/etc/rancher/k3s# crictl pull rancher.ksd.top:5000/library/alpine
Image is up to date for sha256:a24bb4013296f61e89ba57005a7b3e52274d8edd3ae2077d04395f806b63d83e

1.2 搭建 Harbor 私有镜像仓库

1.2.1 部署Harbor私有镜像仓库

# Step1: 安装Docker容器运行时环境
# 在 K3s 节点上安装 Docker。可以使用 Rancher 的一个Docker 安装脚本来安装 Docker：
$ curl https://releases.rancher.com/install-docker/19.03.sh | sh

# Step2: 配置镜像加速器
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://po13h3y1.mirror.aliyuncs.com","http://hub-mirror.c.163.com","https://mirror.ccs.tencentyun.com","http://f1361db2.m.daocloud.io"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker && sudo systemctl enable docker

# Step3: 安装Docker-Compose软件
curl -L https://get.daocloud.io/docker/compose/releases/download/v2.13.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

# Step4: 使用Docker-Compose临时搭建一套Harbor
$ wget https://github.com/goharbor/harbor/releases/download/v2.6.2/harbor-offline-installer-v2.6.2.tgz
$ tar -zxvf harbor-offline-installer-v2.6.2.tgz && cd harbor

$ cp -av harbor.yml.tmpl harbor.yml
$ vim harbor.yml
hostname: reg.kubesphere.com
https: # 后续进行编写
harbor_admin_password: Harbor12345

1.2.2 Harbor 证书的TLS创建

$ mkdir -pv harbor/ssl ; cd harbor/ssl
$ cat > cfssl.sh <<EOF
#!/bin/bash
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl*
mv cfssl_linux-amd64          /usr/bin/cfssl
mv cfssljson_linux-amd64      /usr/bin/cfssljson
mv cfssl-certinfo_linux-amd64 /usr/bin/cfssl-certinfo
EOF
$ bash cfssl.sh
$ cat > ca-config.json <<EOF
{
    "signing": {
        "default": {
            "expiry": "87600h"
        },
        "profiles": {
            "kubernetes": {
                "expiry": "87600h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ]
            }
        }
    }
}
EOF
$ cat > ca-csr.json <<EOF
{
        "CN": "kubernetes",
        "key": {
            "algo": "rsa",
            "size": 2048
        },
        "names": [
            {
                "C": "CN",
                "L": "Beijing",
                "ST": "Beijing"
            }
        ]
}
EOF
$ cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

$ cat > reg.kubesphere.com-csr.json <<EOF
{
    "CN": "reg.kubesphere.com",
    "hosts": [],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF
$ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes reg.kubesphere.com-csr.json | cfssljson -bare reg.kubesphere.com

2、Harbor启用HTTPS

$ vim ./harbor/harbor.yml
  https:
    port:443
    certificate: /root/harbor/ssl/reg.kubesphere.com.pem
    private_key: /root/harbor/ssl/reg.kubesphere.com-key.pem

1.2.3 部署 Harbor 镜像仓库

3、重新配置并部署Harbor

$ ./prepare
# ./install.sh 
$ docker-compose down
$ docker-compose up -d
$ docker-compose ps -a 
      Name                     Command                  State                                          Ports                                   
-----------------------------------------------------------------------------------------------------------------------------------------------harbor-core         /harbor/entrypoint.sh            Up (healthy)                                                                              
harbor-db           /docker-entrypoint.sh 96 13      Up (healthy)                                                                              
harbor-jobservice   /harbor/entrypoint.sh            Up (healthy)                                                                              
harbor-log          /bin/sh -c /usr/local/bin/ ...   Up (healthy)   127.0.0.1:1514->10514/tcp                                                  
harbor-portal       nginx -g daemon off;             Up (healthy)                                                                              
nginx               nginx -g daemon off;             Up (healthy)   0.0.0.0:80->8080/tcp,:::80->8080/tcp,                                      
                                                                    0.0.0.0:443->8443/tcp,:::443->8443/tcp                                     
redis               redis-server /etc/redis.conf     Up (healthy)                                                                              
registry            /home/harbor/entrypoint.sh       Up (healthy)                                                                              
registryctl         /home/harbor/start.sh            Up (healthy)

浏览器访问：http:s//<IP地址>也可以修改主机的host文件将IP地址 域名进行绑定。可以查看浏览器的证书。

默认用户名：admin

默认密码：Harbor12345

img

Harbor 镜像仓库可以正常使用，并且创建一个 k3s 的项目

img

# 上传镜像
$ cat /etc/docker/daemon.json
{
      "registry-mirrors": ["https://si7y70hh.mirror.aliyuncs.com"],
      "insecure-registries": ["reg.kubesphere.com","10.0.0.53"]
}

$ systemctl daemon-reload ; systemctl restart docker
$ docker login reg.kubesphere.com
Username: admin
Password: 123456

Login Succeeded

# 上传镜像
$ docker pull nginx && docker tag nginx:latest reg.kubesphere.com/k3s/nginx:latest
$ docker push reg.kubesphere.com/k3s/nginx:latest

img

1.24 基础环境

# K3s Master
$ curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | \
  INSTALL_K3S_MIRROR=cn \
  INSTALL_K3S_VERSION="v1.21.14+k3s1" \
  K3S_TOKEN=rancher sh -s -

$ kubectl get nodes
NAME   STATUS   ROLES                  AGE   VERSION
k3s1   Ready    control-plane,master   38s   v1.21.14+k3s1

# 查看StorageClass存储类
$ kubectl get sc
NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
local-path (default)   rancher.io/local-path   Delete          WaitForFirstConsumer   false                  42s

1.3 使用 TLS

1.3.1 证书颁发机构颁发的证书

cat >> /etc/rancher/k3s/registries.yaml <<EOF
mirrors:
  "reg.kubesphere.com":
    endpoint:
      - "https://reg.kubesphere.com"
configs:
  "reg.kubesphere.com":
    auth:
      username: admin
      password: 123456
EOF
# 重启K3s服务
$ systemctl restart k3s

# 拉取相应的镜像文件
$ crictl pull reg.kubesphere.com/k3s/nginx:latest

1.3.2 自签名证书

cat >> /etc/rancher/k3s/registries.yaml <<EOF
mirrors:
  "reg.kubesphere.com":
    endpoint:
      - "https://reg.kubesphere.com"
configs:
  "reg.kubesphere.com":
    auth:
      username: admin
      password: 123456
    tls:
      cert_file: /home/harbor/reg.kubesphere.com.cert
      key_file:  /home/harbor/reg.kubesphere.com.key
      ca_file:   /home/harbor/ca.crt
EOF

# 重启K3s服务
systemctl restart k3s

1.4 不使用 TLS（Http registry）

在没有 TLS 通信的情况下，需要为 endpoints 指定http://，否则将默认为 https

cat >> /etc/rancher/k3s/registries.yaml <<EOF
mirrors:
  "172.31.19.227:5000":
    endpoint:
      - "http://172.31.19.227:5000"
EOF

# 重启K3s服务
systemctl restart k3s

K3s 将会在 /var/lib/rancher/k3s/agent/etc/containerd/config.toml 中为 containerd 生成 config.toml。如果要对这个文件进行高级设置，你可以在同一目录中创建另一个名为 config.toml.tmpl 的文件，此文件将会代替默认设置。

1.5 配置 Mirror（镜像加速器）

cat >> /etc/rancher/k3s/registries.yaml <<EOF
mirrors:
  "docker.io":
    endpoint:
      - "https://po13h3y1.mirror.aliyuncs.com"
      - "http://hub-mirror.c.163.com"
      - "https://mirror.ccs.tencentyun.com"
      - "https://registry-1.docker.io"
      - "http://f1361db2.m.daocloud.io"
EOF

# 重启K3s服务
systemctl restart k3s

1.6 完整模板示例（Containerd）

mirrors:
  "harbor.kingsd.top":
    endpoint:
      - "https://harbor.kingsd.top"
  "harbor2.kingsd.top":
    endpoint:
      - "https://harbor2.kingsd.top"
  "172.31.19.227:5000":
    endpoint:
      - "http://172.31.19.227:5000"
  "docker.io":
    endpoint:
      - "https://fogjl973.mirror.aliyuncs.com"
      - "https://registry-1.docker.io"

configs:
  "harbor.kingsd.top":
    auth:
      username: admin
      password: Harbor@12345

  "harbor2.kingsd.top":
    auth:
      username: admin
      password: Harbor@12345
    tls:
      cert_file: /home/ubuntu/harbor2.kingsd.top.cert
      key_file:  /home/ubuntu/harbor2.kingsd.top.key
      ca_file:   /home/ubuntu/ca.crt

1.7 配置 Containerd

K3s 将会在/var/lib/rancher/k3s/agent/etc/containerd/config.toml中为 containerd 生成 config.toml。[ 建议不要直接对 containerd 的配置文件进行修改，格式十分的严格 ]

如果要对这个文件进行高级设置，你可以在同一目录中创建另一个名为 config.toml.tmpl 的文件，此文件将会代替默认设置。

config.toml.tmpl将被视为 Go 模板文件，并且config.Node结构被传递给模板。此模板示例介绍了如何使用结构来自定义配置文件。

【K3s】第23篇 一篇文章带你学习k3s私有镜像仓库配置
Fanjufei的博客
03-10 751
当从镜像仓库中拉取镜像时，containerd 会逐一尝试这些 endpoint URL，并使用第一个可用的 endpoint。如果你想使用一个私有的镜像仓库，那么你需要在每个使用镜像仓库的节点上以 root 身份创建这个文件。Containerd 中的配置可以用于通过 TLS 连接到私有镜像仓库，也可以与启用验证的镜像仓库连接。您可以配置 Containerd 连接到私有镜像仓库，并使用它们在节点上拉取私有镜像。可以配置 Containerd 连接到私有镜像仓库，并使用它们在节点上拉取私有镜像。
k3s搭建Harbor私人镜像仓库（使用helm方式）
最新发布
Acecrw的博客
03-01 633
学习部署harbor的一些步骤，以及在这上面遇到的一些问题
部署harbor私有镜像仓库及k3s离线部署集群
qq_48621236的博客
11-10 683
harbor私有镜像仓库及k3s离线部署集群
配置 K3s 访问私有镜像仓库
码农从0到1
08-22 1175
确保你的 K3s 节点能够访问私有镜像仓库，特别是当仓库使用 HTTP 而不是 HTTPS 时。如果你的私有镜像仓库需要身份验证，你还需要创建一个 Kubernetes Secret 用于认证。1)对于较新的 K3s 版本，你可以通过编辑 K3s 的配置文件来指定镜像仓库。这些步骤应当能够帮助你配置 K3s 以从本地私有镜像仓库中拉取镜像。1、编辑 Docker 的配置文件。
docker registry私有仓库搭建（为k3s准备）
学亮编程手记
01-10 1355
#docker-compose.yml内容 zxl@debian:~/develop/docker-registry-install$ cat docker-compose.yml version: "3.7" services:
k3s registry私有仓库配置踩坑
weixin_42982898的博客
12-26 1132
k3s containerd访问私有registry仓库设置流程
配置 k3s 使用本地 Docker 镜像
码农从0到1
08-10 1568
在k3s。
linux安装k3s安装和搭建Harbor私仓全流程一步到位！
baidu_31384805的博客
09-01 1333
K3s安装依赖docker,所以在此之前需安装好docker，如果k3s安装连接外部数据库，也需要提前安装好。本文我们主要讲k3s的安装，选择需要安装的主节点，3主2工作节点，主节点我们选择IP1、IP2、IP3，工作节点Node1、Node2.加载：docker load -i k3s-airgap-images-amd64.tar。安装完成后，并没有出现错误，说明安装成功，查看节点状态。
k3s可以依赖本地Docker镜像仓库来创建服务吗？如何操作
11-17
K3s，即 Kubernetes 零配置安装服务，确实允许你利用本地 Docker 镜像仓库来部署服务。这是因为 K3s 使用的 Kubernetes 内核支持从外部私有仓库拉取镜像。以下是基本的操作步骤： 1. **设置本地 Docker 仓库**: ...
09 部署k3s和Helm-Rancher
MappleZF的博客
05-27 1445
部署k3s和Helm-Rancher 文章目录部署k3s和Helm-Rancher一、部署k3s server节点1.1 下载安装包1.2 部署程序1.3 系统设置1.3.1 关闭防火墙1.3.2 内核优化1.4 初始化k3s server1.5 配置k3s系统服务二、 部署k3s agent节点2.1 查看token文件2.2 导入离线镜像包2.3 安装k3s-agent节点2.4 server节点查看2.5 配置k3s系统服务三、部署Helm3.1 下载安装包3.2 Helm初始设置3.3 检查Helm
部署harbor私有镜像---K8s
等风来也chen
04-26 595
环境准备： 添加硬盘，作为镜像的存储单元 cd /kubernetes tar -zxf harbor-offline-installer-v1.4.0.tgz 之后将解压出的harbor移动至/opt mv /root/kubernetes/harbor ./ mkdir /date/ 挂载 mount /dev/sdb /date cd /date mkdir harbor cd /...
K3S 私有镜像仓库配置
wq1205750492的博客
05-17 5187
K3S 私有镜像仓库配置 参考： 私有镜像仓库配置参考 | Rancher文档 v1.0.0 开始可用 可以配置 Containerd 连接到私有镜像仓库，并使用它们在节点上拉取私有镜像。 启动时，K3s 会检查/etc/rancher/k3s/ 中是否存在registries.yaml文件，并指示 containerd 使用文件中定义的镜像仓库。 如果你想使用一个私有的镜像仓库，那么你需要在每个使用镜像仓库的节点上以 root 身份创建这个文件。 请注意，server 节点默认是可以调度的。如果
rancher + k3s + docker私有仓库搭建K8环境（百分之百成功）
lengyue2015的博客
08-11 1874
然后我们找一个虚拟机进行拉取刚才我们上传的镜像，测试是否能够征程拉取，由于采用的是http，没有证书，所以我们在拉取镜像之前先配置docker，编辑/etc/docker/daemon.json文件，如果没有则创建文件。因为K3安装需要下载外网资源，所以需要每台机器都要具备访问外网能力，这里采用docker版本的v2ray,所以4台虚拟机都要安装docker，使用如下命令进行安装docker。这里我是单独有一台物理机作为docker的私有仓库，也可以直接用rancher所在的虚拟机搭建。
K3s 部署+本地仓库+应用整套部署方案
WWWLSW的专栏
08-02 1932
systemctl stop firewalld && systemctl disable firewalld #关闭防火墙setenforce 0 #setenforce 0 #关闭selinux 临时关闭sed -i 's/enforcing/disabled/' /etc/selinux/config #永久关闭swapoff -a #关闭swap 临时关闭sed -ri 's/.*swap.*/#&/' /etc/fstab #永久关闭下载k3s二进制文件离线依赖运行命令。
k3s（一）
码农从0到1
08-09 478
要制作一个简单的应用程序并通过 Docker 部署它，我们可以选择使用 Node.js 作为应用程序的运行环境。
K3S 和 Rancher 安装部署&配置
Korbin的博客
08-02 3617
K3s 是轻量级的 Kubernetes。K3s 易于安装，仅需要 Kubernetes 内存的一半，所有组件都在一个小于 100 MB 的二进制文件中。K3s 是一个完全兼容的 Kubernetes 发行版，具有一些增强功能。
k3s集群设置containerd镜像加速
PlatoWG的博客
08-05 5552
背景：使用官网方法部署k3s之后，默认使用的是containerd作为容器运行环境，使用的是海外的镜像仓库 解决办法： 参考官方git：link 1、拷贝配置文件，原文件不要删除 cp /var/lib/rancher/k3s/agent/etc/containerd/config.toml /var/lib/rancher/k3s/agent/etc/containerd/config.toml.tmpl 2、修改配置文件 在/var/lib/rancher/k3s/agent/etc/containe
k3s基本操作
llliarby的博客
12-01 4754
1、开启服务 systemctl start k3s 2、查看当前集群镜像 crictl images list 3、查看当前集群容器状态 crictl ps 4、查看当前集群所有服务 kubectl get services --all-namespaces 5、查看当前集群某个命名空间的服务 kubectl get services -n kubernetes-dashboard 6、查看集群所有pod kubectl get pods --all-namespaces
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dark_Ice_

你的支持是我创作的核动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值