从零到一：基于 K3s 快速搭建本地化 kubeflow AI 机器学习平台

已于 2024-04-03 11:26:40 修改
阅读量1.1k 收藏 10
点赞数 10
文章标签： 人工智能 机器学习
于 2024-04-03 11:24:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shida_csdn/article/details/137276843
版权

背景

Kubeflow 是一种开源的 Kubernetes 原生框架，可用于开发、管理和运行机器学习工作负载，支持诸如 PyTorch、TensorFlow 等众多优秀的机器学习框架，本文介绍如何在 Mac 上搭建本地化的 kubeflow 机器学习平台。
在这里插入图片描述

注意：本文以 deyloyKF 发行版作为主要安装对象，本地环境仅适用于开发测试使用，不可用于生产环境！

更多 kubeflow 发行版参考官网介绍：https://www.kubeflow.org/docs/started/installing-kubeflow/

基本环境：

OS：macos 13.1 (amd64)
DockerDesktop：v4.15.0

尽管 K3s 自身需要的资源不多，但是 kubeflow 套件组件众多，需要设置 Docker 的资源分配，避免安装过程中发生 Pod Pending.
Docker 资源建议设置：CPU 8 核，Memory 10G，磁盘 40G
在这里插入图片描述

安装部署步骤

1. 安装依赖的 CLI

brew install bash argocd jq k3d kubectl kustomize

2. 创建 Kubernetes 集群

为了尽可能降低资源消耗，这里使用 K3s 运行本地集群：

k3d cluster create "kubeflow" --image "rancher/k3s:v1.27.10-k3s2"

通过如下命令检查集群是否就绪：

kubectl get -A pods

正常的输出结果类似如下这样：

NAMESPACE     NAME                                     READY   STATUS      RESTARTS   AGE
kube-system   local-path-provisioner-957fdf8bc-cj9l5   1/1     Running     0          2m30s
kube-system   coredns-77ccd57875-xzzz4                 1/1     Running     0          2m30s
kube-system   metrics-server-648b5df564-gwnhq          1/1     Running     0          2m30s
kube-system   helm-install-traefik-crd-49l4k           0/1     Completed   0          2m31s
kube-system   helm-install-traefik-xrjtd               0/1     Completed   2          2m31s
kube-system   svclb-traefik-a79cf0ef-lj4td             2/2     Running     0          89s
kube-system   traefik-768bdcdcdd-mr8z8                 1/1     Running     0          89s

3. 部署 ArgoCD

ArgoCD 是工作流编排工具，可以帮助我们实现 Kubeflow 的自动化部署

git clone -b main https://github.com/deployKF/deployKF.git
cd deployKF/argocd-plugin
chmod +x ./install_argocd.sh
bash ./install_argocd.sh

通过如下命令检查 ArgoCD 是否就绪：

kubectl get pod -n argocd

正常的输出结果类似如下这样：

NAME                                                READY   STATUS    RESTARTS   AGE
argocd-redis-69f8795dbd-7v4nn                       1/1     Running   0          106s
argocd-applicationset-controller-7b9c4dfb77-7gsf2   1/1     Running   0          106s
argocd-notifications-controller-756764ddd5-jw92c    1/1     Running   0          106s
argocd-server-86f64667bc-7nt7d                      1/1     Running   0          105s
argocd-application-controller-0                     1/1     Running   0          105s
argocd-dex-server-9b5c6dccd-2p779                   1/1     Running   0          106s
argocd-repo-server-5b55578f7c-sfzf4                 2/2     Running   0          105s

4. 安装 kubeflow 套件

准备如下文件：deploykf-app-of-apps.yaml

apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
  name: deploykf-app-of-apps
  namespace: argocd
  labels:
    app.kubernetes.io/name: deploykf-app-of-apps
    app.kubernetes.io/part-of: deploykf
spec:
  project: "default"
  source:
    ## source git repo configuration
    ##  - we use the 'deploykf/deploykf' repo so we can read its 'sample-values.yaml'
    ##    file, but you may use any repo (even one with no files)
    ##
    repoURL: "https://github.com/deployKF/deployKF.git"
    targetRevision: "v0.1.4"
    path: "."

    ## plugin configuration
    ##
    plugin:
      name: "deploykf"
      parameters:

        ## the deployKF generator version
        ##  - available versions: https://github.com/deployKF/deployKF/releases
        ##
        - name: "source_version"
          string: "0.1.4"

        ## paths to values files within the `repoURL` repository
        ##  - the values in these files are merged, with later files taking precedence
        ##  - we strongly recommend using 'sample-values.yaml' as the base of your values
        ##    so you can easily upgrade to newer versions of deployKF
        ##
        - name: "values_files"
          array:
            - "./sample-values.yaml"

        ## a string containing the contents of a values file
        ##  - this parameter allows defining values without needing to create a file in the repo
        ##  - these values are merged with higher precedence than those defined in `values_files`
        ##
        - name: "values"
          string: |
            ##
            ## This demonstrates how you might structure overrides for the 'sample-values.yaml' file.
            ## For a more comprehensive example, see the 'sample-values-overrides.yaml' in the main repo.
            ##
            ## Notes:
            ##  - YAML maps are RECURSIVELY merged across values files
            ##  - YAML lists are REPLACED in their entirety across values files
            ##  - Do NOT include empty/null sections, as this will remove ALL values from that section.
            ##    To include a section without overriding any values, set it to an empty map: `{}`
            ##

            ## --------------------------------------------------------------------------------
            ##                                      argocd
            ## --------------------------------------------------------------------------------
            argocd:
              namespace: argocd
              project: default

            ## --------------------------------------------------------------------------------
            ##                                    kubernetes
            ## --------------------------------------------------------------------------------
            kubernetes:
              {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

            ## --------------------------------------------------------------------------------
            ##                              deploykf-dependencies
            ## --------------------------------------------------------------------------------
            deploykf_dependencies:

              ## --------------------------------------
              ##             cert-manager
              ## --------------------------------------
              cert_manager:
                {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

              ## --------------------------------------
              ##                 istio
              ## --------------------------------------
              istio:
                {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

              ## --------------------------------------
              ##                kyverno
              ## --------------------------------------
              kyverno:
                {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

            ## --------------------------------------------------------------------------------
            ##                                  deploykf-core
            ## --------------------------------------------------------------------------------
            deploykf_core:

              ## --------------------------------------
              ##             deploykf-auth
              ## --------------------------------------
              deploykf_auth:
                {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

              ## --------------------------------------
              ##        deploykf-istio-gateway
              ## --------------------------------------
              deploykf_istio_gateway:
                {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

              ## --------------------------------------
              ##      deploykf-profiles-generator
              ## --------------------------------------
              deploykf_profiles_generator:
                {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

            ## --------------------------------------------------------------------------------
            ##                                   deploykf-opt
            ## --------------------------------------------------------------------------------
            deploykf_opt:

              ## --------------------------------------
              ##            deploykf-minio
              ## --------------------------------------
              deploykf_minio:
                {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

              ## --------------------------------------
              ##            deploykf-mysql
              ## --------------------------------------
              deploykf_mysql:
                {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

            ## --------------------------------------------------------------------------------
            ##                                  kubeflow-tools
            ## --------------------------------------------------------------------------------
            kubeflow_tools:

              ## --------------------------------------
              ##                 katib
              ## --------------------------------------
              katib:
                {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

              ## --------------------------------------
              ##               notebooks
              ## --------------------------------------
              notebooks:
                {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

              ## --------------------------------------
              ##               pipelines
              ## --------------------------------------
              pipelines:
                {} # <-- REMOVE THIS, IF YOU INCLUDE VALUES UNDER THIS SECTION!

  destination:
    server: "https://kubernetes.default.svc"
    namespace: "argocd"

执行如下命令，部署工作流：

kubectl apply -f ./deploykf-app-of-apps.yaml

通过 UI 界面查看 ArgoCD 状态：

kubectl port-forward --namespace "argocd" svc/argocd-server 8090:https

浏览器打开 https://localhost:8090/，用户名：admin，密码可通过如下命令获取：

echo $(kubectl -n argocd get secret/argocd-initial-admin-secret \
 -o jsonpath="{.data.password}" | base64 -d)

在这里插入图片描述
由于程序间存在依赖关系，可以通过如下脚本按序执行 Sync 操作：

git clone -b main https://github.com/deployKF/deployKF.git
cd deployKF/scripts
chmod +x ./sync_argocd_apps.sh
bash ./sync_argocd_apps.sh

该脚本是幂等的，失败后可反复执行直到部署成功，成功部署后的运行中 Pod 列表类似如下这样：

NAMESPACE                 NAME                                                 READY   STATUS    RESTARTS       AGE
argocd                    argocd-redis-69f8795dbd-x5wtv                        1/1     Running   5 (17m ago)    105m
argocd                    argocd-server-86f64667bc-zfm7m                       1/1     Running   4 (17m ago)    73m
argocd                    argocd-repo-server-5b55578f7c-x26zz                  2/2     Running   10 (17m ago)   91m
argocd                    argocd-notifications-controller-756764ddd5-2fqbr     1/1     Running   5 (17m ago)    89m
argocd                    argocd-dex-server-9b5c6dccd-bl86m                    1/1     Running   5 (17m ago)    91m
argocd                    argocd-application-controller-0                      1/1     Running   5 (17m ago)    91m
argocd                    argocd-applicationset-controller-7b9c4dfb77-hph2r    1/1     Running   5 (17m ago)    105m
cert-manager              cert-manager-c688c56f-w4jts                          1/1     Running   5 (17m ago)    109m
cert-manager              trust-manager-78766fd9bd-zd5zf                       1/1     Running   5 (17m ago)    90m
cert-manager              cert-manager-webhook-d45447457-q6cf8                 1/1     Running   6 (17m ago)    109m
cert-manager              cert-manager-cainjector-59d694bcc7-mrcvg             1/1     Running   6 (17m ago)    109m
deploykf-auth             oauth2-proxy-5fd9888b79-tpnrt                        2/2     Running   11 (16m ago)   73m
deploykf-auth             dex-68c8bf56b9-78d5g                                 2/2     Running   8 (17m ago)    73m
deploykf-dashboard        profile-controller-5575767c76-vshp2                  2/2     Running   8 (17m ago)    73m
deploykf-dashboard        kfam-api-75b64c9645-sjfcq                            2/2     Running   10 (17m ago)   98m
deploykf-dashboard        central-dashboard-6b5d9574dc-fmlt4                   2/2     Running   10 (17m ago)   98m
deploykf-istio-gateway    deploykf-gateway-6ddf8947cc-qz55g                    1/1     Running   5 (17m ago)    98m
deploykf-minio            deploykf-minio-568b877668-w2wct                      2/2     Running   5 (17m ago)    52m
deploykf-mysql            deploykf-mysql-0                                     1/1     Running   5 (17m ago)    109m
istio-system              istiod-7b9b6df595-jbztw                              1/1     Running   5 (17m ago)    91m
kube-system               svclb-deploykf-gateway-7f7cba3a-kkskn                3/3     Running   15 (17m ago)   100m
kube-system               metrics-server-648b5df564-gwnhq                      1/1     Running   9 (17m ago)    5h43m
kube-system               local-path-provisioner-957fdf8bc-cj9l5               1/1     Running   7 (17m ago)    5h43m
kube-system               coredns-77ccd57875-xzzz4                             1/1     Running   7 (17m ago)    5h43m
kube-system               traefik-768bdcdcdd-mr8z8                             1/1     Running   7 (17m ago)    5h42m
kube-system               svclb-traefik-a79cf0ef-6ksjm                         2/2     Running   10 (17m ago)   100m
kubeflow                  katib-controller-75858c4ddf-hwvkx                    1/1     Running   8 (17m ago)    95m
kubeflow                  ml-pipeline-ui-68b7f6586d-qtjp5                      2/2     Running   15 (17m ago)   94m
kubeflow                  ml-pipeline-persistenceagent-68bbd65f98-tsnqn        2/2     Running   10 (17m ago)   94m
kubeflow                  katib-ui-d4df8bdb6-2x75p                             2/2     Running   10 (17m ago)   95m
kubeflow                  ml-pipeline-6445d9fb77-dxgv4                         2/2     Running   24 (16m ago)   94m
kubeflow                  admission-webhook-deployment-789dc56fbf-z7cj8        1/1     Running   5 (17m ago)    94m
kubeflow                  metadata-writer-6f95b9588c-fmx4s                     2/2     Running   8 (17m ago)    73m
kubeflow                  notebook-controller-deployment-649cf9b976-vnvwd      2/2     Running   10 (17m ago)   95m
kubeflow                  training-operator-7cf5c66858-jf5sr                   1/1     Running   3 (17m ago)    43m
kubeflow                  tensorboards-web-app-deployment-778466f5f6-dmrks     2/2     Running   2 (17m ago)    43m
kubeflow                  tensorboard-controller-deployment-644f57dd7c-zlxnw   3/3     Running   24 (17m ago)   92m
kubeflow                  ml-pipeline-scheduledworkflow-578475988-kwz27        2/2     Running   10 (17m ago)   94m
kubeflow                  volumes-web-app-deployment-588d46bb75-95g6b          2/2     Running   2 (17m ago)    42m
kubeflow                  ml-pipeline-viewer-crd-6857ccc85c-zl895              2/2     Running   10 (17m ago)   94m
kubeflow                  metadata-grpc-deployment-566d54d578-wwj9n            2/2     Running   23 (16m ago)   94m
kubeflow                  ml-pipeline-visualizationserver-7b45b7fd56-s4pxh     2/2     Running   15 (17m ago)   94m
kubeflow                  cache-server-66d7586749-prmkq                        2/2     Running   10 (17m ago)   94m
kubeflow                  jupyter-web-app-deployment-9c8c779c-hcqvr            2/2     Running   15 (17m ago)   91m
kubeflow                  katib-db-manager-6998f5bdd8-lrs77                    1/1     Running   5 (17m ago)    95m
kubeflow                  metadata-envoy-deployment-b48db5966-542nh            1/1     Running   5 (17m ago)    94m
kubeflow-argo-workflows   argo-workflow-controller-79fc5c6895-2g26t            2/2     Running   10 (17m ago)   98m
kubeflow-argo-workflows   argo-server-6d97fb7649-lsfdw                         2/2     Running   5 (16m ago)    73m
kyverno                   kyverno-cleanup-controller-6cb4d5848-hh8nm           1/1     Running   5 (17m ago)    109m
kyverno                   kyverno-admission-controller-964c74c7d-frknb         1/1     Running   5 (17m ago)    109m
kyverno                   kyverno-background-controller-796f77c79f-nwhrs       1/1     Running   5 (17m ago)    109m
kyverno                   kyverno-reports-controller-6d6d98fc96-z7qjv          1/1     Running   5 (17m ago)    109m
kyverno                   kyverno-admission-controller-964c74c7d-hgtc2         1/1     Running   4 (17m ago)    109m
kyverno                   kyverno-admission-controller-964c74c7d-x744h         1/1     Running   5 (17m ago)    109m
team-1                    ml-pipeline-visualizationserver-677c86b748-nbrr5     2/2     Running   2 (17m ago)    73m
team-1                    ml-pipeline-ui-artifact-7749b4f5f6-ld7kl             2/2     Running   10 (17m ago)   94m
team-1-prod               ml-pipeline-visualizationserver-677c86b748-hqwsh     2/2     Running   2 (17m ago)    73m
team-1-prod               ml-pipeline-ui-artifact-7749b4f5f6-hl6gk             2/2     Running   10 (17m ago)   94m

同步完成后的 ArgoCD 界面（完成 20 个应用同步）：
在这里插入图片描述

5. 访问控制台

执行端口转发：

kubectl port-forward \
  --namespace "deploykf-istio-gateway" \
  svc/deploykf-gateway 8080:http 8443:https

由于 Istio Gateway 基于 Host Header 区分访问的目标服务，因此需要配置本地 /etc/hosts 文件，追加如下内容：

127.0.0.1 deploykf.example.com
127.0.0.1 argo-server.deploykf.example.com
127.0.0.1 minio-api.deploykf.example.com
127.0.0.1 minio-console.deploykf.example.com

浏览器访问 https://deploykf.example.com:8443/

管理员：用户名 admin@example.com 密码 admin
用户 1: 用户名 user1@example.com 密码 user1
用户 2: 用户名 user2@example.com 密码 user2

在这里插入图片描述

6. 运行 Jupyter

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

更多功能持续探索中…

本文引用

https://www.deploykf.org/guides/local-quickstart/

shida_csdn
关注
  • 10
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
k3ai:K3ai是一款轻巧的，完全自动化的一体式AI基础架构解决方案，它使任何人都可以快速尝试Kubeflow管道。 K3ai非常适合从Edge到笔记本电脑的任何事情
04-14
K3ai是一款轻量级的即装即用基础架构解决方案，专为在Edge和IoT设备上的生产环境中安装和配置AI工具和平台而设计，就像本地测试环境一样容易。 准备实验了吗？ curl -sfL https://get.k3ai.in | bash - 完整文档：...
轻量级Kubernetes-K3S简介入门
qqxhb 资源共享
03-02 5445
1. K3S简介 k3s即轻量级Kubernetes发行版。易于安装，内存减半，所有二进制文件不到40mb。k3s是完全兼容的Kubernetes发行版，有以下更改： 移除过时的功能、Alpha功能、非默认功能，这些功能在大多数Kubernetes集群中已不可用。 删除内置插件(比如云供应商插件和存储插件)，可用外部插件程序替换。 添加SQLite3作为默认的数据存储。etcd3仍然可用，但并非...
【K3s】第1篇 K3s入门级介绍及架构详解
果子哥丶的博客
02-28 2706
K3s 是一个轻量级的 Kubernetes 发行版，它针对边缘计算、物联网等场景进行了高度优化。
机器学习平台kubeflow搭建
piaobeizu2011的专栏
11-17 3328
机器学习平台kubeflow搭建 文章目录机器学习平台kubeflow搭建前言一、搭建流程1. k0s 构建k8s平台2. 准备pv3. 安装kubeflow二、问题总结 前言 首先来一段官网的介绍：Kubeflow项目致力于使Kubernetes上机器学习(ML)工作流的部署变得简单、可移植和可扩展。我们的目标不是重新创建其他服务，而是提供一种直接的方式，为ML部署最佳的开源系统到不同的基础设施。无论你在哪里运行Kubernetes，你都应该能够运行Kubeflow。(谷歌翻译) kubefl
k3s 快速入门 - 集群搭建
蜗牛的专栏
08-17 4919
K3s 是一个轻量级的 Kubernetes 发行版，它针对边缘计算、物联网等场景进行了高度优化
Kubeflow第三篇--使用技巧
error的博客
05-05 2630
由于发现网上很少pipeline使用教程，自己便开始探索尝试，记录了一些操作步骤但同时也出现了一些问题
k3s:k3s混合Raspberry Pi + Cloud集群的kubernetes配置。 通过Flux GitOps自动化
04-08
安装步骤在所有节点上安装tailscale 确保启用了无密码的sudo 确保启用了无密码的SSH # master node (in cloud so it's ...k3s-version ' v1.19.2+k3s1 '# worker node #1k3sup join --ip ` dig plum.lan.nickysem
azure-k3s-cluster：使用k3s.io部署轻量级Kubernetes群集的Azure模板
02-04
天蓝色k3s群集（WIP） 基于我的项目的（WIP）可动态调整大小的Azure的群集。 什么 这是一个Azure资源管理器模板，可在Ubuntu 20.04上自动部署群集。 该群集具有单个主虚拟机和用于工作人员/代理的虚拟机规模集，...
hello-k3s:使用kubernetes和本地注册表进行快速集成测试
05-10
你好k3s 使用kubernetes和本地注册表进行快速集成测试入门先决条件 您可以使用以下命令进行brew install k3d ： brew install k3d或curl -s https://raw.githubusercontent.com/rancher/k3d/main/install.sh | bash ...
ansible-role-k3s:Ansible角色-k3s轻量级Kubernetes-https
05-01
角色变量下面列出了可用的变量以及默认值（请参见defaults/main.yml ）： k3s_state: present作用状态： present ， start ， stop k3s_version: 1.20.5+k3s1k3s的版本k3s_type: master节点类型master或agent k3s_...
手把手实操教程！使用k3s运行轻量级VM
k3s中文社区
02-13 1118
前 言 k3s作为轻量级的Kubernetes发行版，运行容器是基本功能。VM的管理原本是IaaS平台的基本能力，随着Kubernetes的不断发展，VM也可以纳入其管理体系。结合Container和VM的各自优势，又发展出轻量级VM的理念，兼具容器的轻量特性，又有VM的隔离安全性，这其中kata-container是时下比较受关注的开源项目。那么轻量级的k3s和轻量级VM碰撞，又有怎样的效果，结...
2020 年最具潜力的 44 个顶级开源项目
喜欢打酱油的老鸟
03-01 3938
来源：AI开发者 本文约为7600字，建议阅读10分钟 本文给开发者提供了详细的各领域工具并整理了清单11 种极具潜力的 AI 工具类型。 工欲善其事必先利其器，这也是大部分开发者在日常工作中最重要开发原则。选择与开发内容相匹配的工具，常常会使我们事半功倍。但面对人工智能的多个领域，如：机器学习、深度学习、NLP等等，多样的工具有时也让我们也无从选择。 就在最近，一个基于 javascri...
K3s安装
liuhm的博客
05-24 2526
K3s安装文档 官方中文链接 官方英文链接 两台虚拟机 主机名 ip k3ss 192.168.56.160 k3sa 192.168.56.161 快速入门 单节点架构 Red Hat 和 CentOS 的额外准备 建议运行以下命令，关闭 firewalld： systemctl disable firewalld --now 安装脚本 k3ss节点 多张网卡指定一个网卡地址 INSTALL_K3S_EXEC="–advertise-address 192.168.56.160"
K3S工具进阶完全指南-非常详细的学习文档-感谢Escape
地球空间
05-26 1828
深入理解官方文档，轻松学会使用 K3S 工具！ K3s是一个轻量级的Kubernetes发行版，它针对边缘计算、物联网等场景进行了高度优化。 CNCF认证的Kubernetes发行版 支持X86_64,ARM64,ARMv7平台 单一进程包含Kubernetes master，kubelet和containerd K3S工具进阶指南 1. K3S 工具介绍 为你提供 k3s 的产品介绍 K3s有以下增强功能： 打包为单个二进制文件 把K8S...
注意力机制略解
cqbzcsq的博客
04-29 898
本文简要地介绍了注意力机制，Q、K、V矩阵的含义，注意力评分函数的计算方式，并提及了Transformer的相关内容
Perfectly Clear Workbench for mac/win：让图像清晰不再是难题
2401_82627223的博客
04-27 426
Perfectly Clear Workbench是一款功能强大、操作简便的图像清晰处理软件。它不仅能够满足专业摄影师的高标准需求，也能让业余爱好者轻松提升作品质量。
现代神经网络总结(AlexNet VGG GoogleNet ResNet的区别与改进)
XXxia1XX的博客
04-28 479
1.VGG，NIN，GoogleNet的块结构图对比(注意:无AlexNet)->神经网络越深,越复杂总能改进精度吗?在上面三层神经网络之后得到的疑惑。这些块带来的区别与细节。
Transformers：它们如何转换您的数据？
最新发布
gongdiwudu的专栏
05-01 414
在快速发展的人工智能和机器学习领域，一项创新因其对我们处理、理解和生成数据的方式产生深远影响而脱颖而出：Transformers。Transformer 彻底改变了自然语言处理 （NLP） 及其他领域，为当今一些最先进的 AI 应用程序提供动力。但究竟什么是变形金刚，它们如何以如此开创性的方式转换数据？本文揭开了 Transformer 模型内部工作的神秘面纱，重点介绍了编码器架构。我们将首先在 Python 中实现 Transformer 编码器，分解其主要组件。然后，我们将可视化 Transfor
macos如何安装Tesseract软件and常规应用及问题处理
LYX_WIN
04-28 73
Homebrew 在 macOS 13 上可能会遇到一些构建失败的情况，因为它是一个预发布版本，不是稳定版本，可能会有一些兼容性问题。3.安装 pytesseract 之后，您还需要安装 Tesseract OCR 的二进制文件。4.安装完成后，您可以使用 pytesseract 库在 Python 中调用 Tesseract OCR 进行文字识别。2.安装完成后，可以在终端或命令提示符中输入以下命令测试 Tesseract 是否安装成功。安装完成后，可以使用 Tesseract 进行文字识别等操作。
k3s 嵌入式db的高可用搭建
08-26
k3s是一个轻量级的Kubernetes发行版，它可以在嵌入式系统上进行部署。在嵌入式设备上搭建k3s的高可用环境需要考虑到数据库的高可用性。 k3s默认使用SQLite作为嵌入式数据库，但SQLite不支持高可用性。因此，我们需要使用其他支持高可用性的数据库来替换。常见的选择是使用MySQL或PostgreSQL作为嵌入式数据库。 要搭建k3s嵌入式数据库的高可用环境，可以按照以下步骤进行操作： 1. 安装和配置MySQL或PostgreSQL数据库集群：在不同的嵌入式设备上安装MySQL或PostgreSQL，并进行配置以实现主从复制或集群模式。确保数据的持久性和一致性。 2. 将k3s配置为使用MySQL或PostgreSQL：修改k3s的配置文件，让其使用MySQL或PostgreSQL作为数据库，而不是默认的SQLite。指定数据库的地址、用户名、密码等相关信息。 3. 配置数据库访问权限：确保k3s可以通过网络访问数据库集群，并具有足够的权限进行读写操作。 4. 配置数据库的高可用性：针对数据库集群的复制机制或集群配置进行优化，以提高可用性和容错性。可以使用负载均衡等技术来处理数据库请求。 5. 启动k3s并测试：在每个嵌入式设备上启动k3s，并确保它们能够连接到数据库集群。进行一些基本的测试，例如创建和管理Pod、容器等，验证k3s的功能和高可用性。 总结起来，要搭建k3s嵌入式数据库的高可用环境，需要安装和配置支持高可用性的数据库集群，将k3s配置为使用该数据库，并进行相关的网络和权限配置。通过这样的搭建，我们可以实现k3s在嵌入式设备上的高可用性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值