kubeflow国内单机本地安装（官网、kind、wsl2、jupyter notebook创建）

已于 2023-05-11 09:48:48 修改
阅读量1.2k 收藏 2
点赞数 1
分类专栏： kubernetes 文章标签： kubernetes kind
于 2023-05-10 15:51:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/T_eddy/article/details/130595834
版权

目录

写在前面

这是Kubeflow Manifest地址 Kubeflow Manifest ,经过少量修改（只改了一个文件，添加了几个文件），可以在国内安装的笔记。

非常感谢public-image-mirror地址 public-image-mirror 提供的镜像加速，使得很多在国外的镜像，在国内也可以下载，只需要改变仓库名（添加.m.daocloud）。

这里也包括我安装时踩坑记录

这是国内单机本地安装

这是笔者源码在github上的地址modify_kubeflow_manifest

环境

Windows11专业版

WSL2

Ubuntu-22.04

WSL 版本： 1.1.6.0

内核版本： 5.15.90.1

WSLg 版本： 1.0.50

MSRDC 版本： 1.2.3770

Direct3D 版本： 1.608.2-61064218

DXCore 版本： 10.0.25131.1002-220531-1700.rs-onecore-base2-hyp

Windows 版本： 10.0.23451.1000

docker-23.0.2(Linux安装，非windows桌面版)

kind-0.18.0

kubectl-1.25

kustomize-5.0.0

python3

版本

在这里插入图片描述
在这里插入图片描述

前置条件

kind

kind下载地址

kind version

kind v0.18.0 go1.20.2 linux/amd64

kind可以创建多个节点的集群或者多个集群(官网文档 )

kind是可以载入本地镜像到集群中的，但是速度好像没有快多少，所以笔者包载入镜像的Shell（在笔者的github中的pull_and_kind_load_dockerimages.sh）注释掉了，用docker拉取镜像到本地当然也注释掉了，有需要可以更改。

以下是复制官网的Linux下载命令

curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.18.0/kind-linux-amd64
chmod +x ./kind
sudo mv ./kind /usr/local/bin/kind

kubectl

官网要求（最多1.25）

kubectl下载地址 下载需要指定版本

kubectl version

Client Version: version.Info{Major:“1”, Minor:“25”, GitVersion:“v1.25.0”, GitCommit:“a866cbe2e5bbaa01cfd5e969aa3e033f3282a8a2”, GitTreeState:“clean”, BuildDate:“2022-08-23T17:44:59Z”, GoVersion:“go1.19”, Compiler:“gc”, Platform:“linux/amd64”}

Kustomize Version: v4.5.7

Server Version: version.Info{Major:“1”, Minor:“26”, GitVersion:“v1.26.3”, GitCommit:“9e644106593f3f4aa98f8a84b23db5fa378900bd”, GitTreeState:“clean”, BuildDate:“2023-03-30T06:34:50Z”, GoVersion:“go1.19.7”, Compiler:“gc”, Platform:“linux/amd64”}

以下是复制官网的Linux（x86-64）下载命令，安装1.25.0
需要root权限，没有的参考官网

curl -LO https://dl.k8s.io/release/v1.25.0/bin/linux/amd64/kubectl
sudo install -o root -g root -m 0755 kubectl /usr/local/bin/kubectl

kustomize

虽然kubectl中有kustomize，版本不对，要单独下载，根据官网要求至少5.0.0

kustomize下载地址

kustomize version

v5.0.0

根据系统选择，笔者选择的是kustomize_v5.0.0_linux_amd64.tar.gz

tar -zxvf kustomize_v5.0.0_linux_amd64.tar.gz
chmod +x ./kustomize
sudo mv kustomize /usr/local/bin

在这里插入图片描述

docker

docker version

Client: Docker Engine - Community

Version: 23.0.2

API version: 1.42

Go version: go1.19.7

Git commit: 569dd73

Built: Mon Mar 27 16:16:30 2023

OS/Arch: linux/amd64

Context: default


Server: Docker Engine - Community

Engine:

Version: 23.0.2

API version: 1.42 (minimum version 1.12)

Go version: go1.19.7

Git commit: 219f21b

Built: Mon Mar 27 16:16:30 2023

OS/Arch: linux/amd64

Experimental: false

containerd:

Version: 1.6.20

GitCommit: 2806fc1057397dbaeefbea0e4e17bddfbd388f38

runc:

Version: 1.1.5

GitCommit: v1.1.5-0-gf19387a

docker-init:

Version: 0.19.0

GitCommit: de40ad0

python

python3

步骤

第一步 克隆仓库

克隆笔者github上源码modify_kubeflow_manifest

  • errimages.txt是放置不能拉取的镜像
  • erim.py是按照errimages.txt修改example/kustomization.yaml和产生pullimages.txt的python程序。
  • kind-ingress-config.yaml是用kind创建节点的配置文件
  • ori_kustomization.yaml是kubeflow git官网原本example/kustomization.yaml的配置文件
  • pull_and_kind_load_dockerimages.sh是要执行的Shell文件

在这里插入图片描述

第二步 添加失败镜像

只要填写errimages.txt,也就是将不能拉取的gcr.io、quay.io、ghcr.io开头的镜像复制进去

原本是笔者不能拉取的镜像列表

还有不能拉取的加入errimages.txt，查看上面的加速镜像的git网站，手动更改一下erim.py代码(修改改变仓库名的逻辑)

第三歩 复制文件

解压manifests.tar.gz(这是kubeflow manifests的源文件)

将这里的除README.md、.git、屏幕截图、压缩包外的文件复制到解压的官网manifests目录下

第四步 执行.sh程序

注意：在运行前，如果对挂载、节点等有要求，先修改kind-ingress-config.yaml(里面笔者挂载了本地的jupyterlab的目录)

注意：用docker拉取镜像到本地和用kind载入本地镜像到集群已经注释了。（因为速度没快多少。）

注意：要在解压后的官网manifests目录下（复制好上一步的文件）执行。（当然也可以自己克隆官网，在复制文件到它目录下面，再执行。）

这步包括：修改宿主机打开文件个数限制----导出镜像列表，更改配置文件(example/kustomization.yaml)----建立集群（一个节点）----启动(初始化)kubeflow(无限循环，不会结束，可以手动结束)

在解压的官网manifests目录下运行pull_and_kind_load_dockerimage.sh

第五步 补充

根据下面的Warning进行补充操作

Warning

warning1 解决没有auth(namespace)的问题

如果没有auth（namespace），重新用这条命令加载,在打开另一个终端输入

kustomize build common/dex/overlays/istio | kubectl apply -f -

warning2 解决后面出现的镜像拉取镜像的问题

记得如果kubeflow-user-example-com 或者 auth (两个都是namespace) 中的pod 镜像加载错误，就手动修改（添加.m.daocloud）

因为可能后面加载的pod，image还是拉取国外

kubectl edit pod -n namespace podname

warning3 临时映射界面端口的问题

踩坑踩坑，注意是对ingressgateway服务(svc)进行端口映射，不是对pod…

临时端口映射，登录浏览器（127.0.0.1：8080）输入账号user@example.com 输入密码12341234

kubectl port-forward -n istio-system svc/istio-ingressgateway 8080:80

warning4 添加本地目录到持久卷的问题

补充

从本地（宿主机）将目录挂载到集群中，笔者要用到本地的jupyterlab目录的代码和数据，所以声明到pvc中，使用时引用pvc的name。

kubectl create -f data-pv-hostpath.yaml (其中持久卷挂载的源目录是/home，和上面kind-ingress-config.yaml中的containerPath: /home要一样)

kubectl create -f data-pvc.yaml (持久卷声明，使用了上面的持久卷，当要使用的时候就将它的name声明在volumns中)

安装成功

所有运行的pod

在这里插入图片描述

kubeflow界面

使用kubectl port-forward -n istio-system svc/istio-ingressgateway 8080:80进行临时端口映射，访问本地浏览器127.0.0.1:8080，出现界面。
在这里插入图片描述

Create a new notebook

步骤

在这里插入图片描述
在这里插入图片描述

定义最小CPU和内存

在这里插入图片描述

定义工作空间空白卷大小（建议默认）

在这里插入图片描述

挂载本地路径的数据卷

添加已有的volume
使用Custom类型

在这里插入图片描述

数据卷的相关配置文件

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在使用数据卷声明前

先创建笔者github中的data-pv-hostpath.yaml和data-pvc.yaml。
然后在claimName填上data-pvc.yaml中的name。
最后LAUNCH

kubectl create -f data-pv-hostpath.yaml
kubectl create -f data-pvc.yaml

在这里插入图片描述

起名大废废
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
安装kubeflow的经验
weixin_45145160的博客
10-23 2841
1、用kubeadm安装好k8s集群 本实验: KubeMaster 10.4.7.20 KubeNode 10.4.7.21 2、确认机器的配置 （1）8个处理器，每个处理器2核，共16G内存 （2）查看root下的centos_kubeflowmaster-root下有超过100G足够的磁盘空间 [root@KubeflowMaster ~]# fdisk -l Disk /dev/sda: 161.1 GB, 161061273600 bytes, 314572800 sectors Units
kubeflow需要的镜像
08-09
kubeflow需要的镜像
安装kubeflow
weixin_42889424的博客
05-15 605
安装kubeflow
kubeflow安装
得克特
06-30 1297
Kubeflow
从零搭建机器学习平台Kubeflow
yanqianglifei的专栏
12-25 8726
来自官网的一段介绍： Kubeflow 项目致力于使机器学习 (ML) 工作流在 Kubernetes 上的部署变得简单、可移植和可扩展。Kubeflow的目标不是重新创建其他服务，而是提供一种直接的方法，将用于 ML 的同类最佳开源系统部署到不同的基础设施中。在任何运行 Kubernetes 的地方，开发者都应该能够运行 Kubeflow。从官网这段介绍可以看出，Kubeflow与Kubernetes是形影不离的。
Kubeflow（1.6.1）部署
丰耳的博客
02-17 3597
基于K8s-v1.22.8的kubeflow-1.6.1部署
Windows10安装WSL2 Ubuntu20.04并设置docker环境的方法
09-29
主要介绍了Windows10安装WSL2 Ubuntu20.04并设置docker环境的方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
wsl2-usbipd-win-3.0.0..msi 安装文件
06-25
wsl2_usbipd_win_3.0.0..msi 安装文件 下载后可以直接使用
WSL2 Arclinux安装
03-22
WSL2 Arclinux安装
wsl2安装教程 wsl2下交叉编译软件的安装、踩坑过程 以及拿vscode连接wsl2
06-04
包括wsl2安装教程 wsl2下交叉编译软件的安装、踩坑过程 以及拿vscode连接wsl2 代码写的是一个简单的C语言程序，每个0.60006秒输出一次hello wrold 参考了很多网上大家的做法，因此也把自己的踩坑过程放在网上，供...
datalab:使用Jupyter Notebook设置和控制自己的AWK DataLab
03-27
AWK数据实验室在数秒内启动并运行您的数据分析环境根据需要添加和删除技术堆栈数年后即可轻松协作和共享环境-确保一切仍在运行通过Jupyter笔记本而不是命令行参数来控制Docker环境要求在您的系统上安装了Docker，...
kubeflow v1.8 离线安装
最新发布
qq836825331的专栏
03-19 1954
Kubeflow 项目致力于使 Kubernetes 上的机器学习 (ML) 工作流程的部署变得简单、可移植且可扩展。Kubeflow包含了一系列机器学习相关组件，并帮助在k8s上开发、部署机器学习应用。下图显示了主要的 Kubeflow 组件，涵盖了 Kubernetes 上的 ML 生命周期的每个步骤。
Kubeflow安装及代码架构解读
chenxy02的博客
04-14 1865
参考网址 Installing Kubeflow | Kubeflow 安装方式选用 官方讲述了两种Kubeflow的安装方式，一种是使用打包发行版本，谷歌云、AWS等厂商的客户可以考虑此方式进行安装使用，应该非常方便。 本文主要讲使用manifest（清单） 的方式进行Kubeflow的安装。 怎么使用manifest 从github上拉取仓库GitHub - kubeflow/manifests: A repository for Kustomize manifests 然后照着这个.
Ubuntu16.04 单机部署kubeflow1.0.2
Acecai01的博客模板
12-08 2273
Ubuntu16.04 单机部署kubeflow1.0.2开篇新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 开篇 服务器信息：Ubuntu16.04 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除
Kubernetes 部署 kubeflow1.6.1
专注基础架构领域
10-24 211
前言安装前请注意捋清楚版本关系，如kubeflow版本对应的K8S版本及其相关工具版本等等我们此处使用的是是kubeflow-1.6.1和K8s-v1.22.8。
kubeflow简介及安装
赵英超的博客
03-05 7140
1 背景 Kubernetes 本来是一个用来管理无状态应用的容器平台，但是在近两年，有越来越多的公司用它来运行各种各样的工作负载，尤其是机器学习炼丹。各种 AI 公司或者互联网公司的 AI 部门都会尝试在 Kubernetes 上运行 TensorFlow，Caffe，MXNet 等等分布式学习的任务，这为 Kubernetes 带来了新的挑战。 首先，分布式的机器学习任务一般会涉及参数服务...
从零在单机上搭建k8s ，kubeflow1.7机器学习平台（国内环境）
king_super123的博客
11-28 2139
折腾了好几天，写下这篇博客记录，希望能帮助需要的人。
centos下的kubeflow实践
qq_41011242的博客
03-14 393
安装docker和k8s 参考： https://blog.csdn.net/fenglailea/article/details/88745642 参考指令 dockerd --registry-mirror=https://registry.docker-cn.com kubectl get po -A kubectl describe -n kubeflow pod metadata-envoy-deployment-86b54c965c-gt2hr 其他安装 kustomize mv kust
Kubernetes 部署 kubeflow1.7.0
专注基础架构领域
10-23 574
KubeFlow 是一个开源的项目，旨在为 Kubernetes 提供可组合、便携式、可扩展的机器学习技术栈。它最初是为了解决在 Kubernetes 上运行分布式机器学习任务所带来的挑战而创建的。Kubernetes 本身是一个容器平台，但在近年来，越来越多的公司开始用它来运行各种工作负载，特别是机器学习任务。
使用wsl打开jupyter notebook
10-13
要在WSL中打开Jupyter Notebook，需要按照以下步骤操作： 1. 在WSL中安装Anaconda或Miniconda。 2. 在WSL中创建一个conda环境，并在该环境中安装Jupyter Notebook。 3. 在WSL中启动Jupyter Notebook服务器，并在本地浏览器中打开Jupyter Notebook。 具体步骤如下： 1. 在WSL中安装Anaconda或Miniconda。 可以从Anaconda或Miniconda官网下载对应的安装包，然后在WSL中运行安装程序进行安装。安装完成后，需要将conda添加到环境变量中，以便在终端中使用conda命令。 2. 在WSL中创建一个conda环境，并在该环境中安装Jupyter Notebook。 可以使用以下命令创建一个名为"myenv"的conda环境，并在该环境中安装Jupyter Notebook： ``` conda create --name myenv conda activate myenv conda install jupyter ``` 3. 在WSL中启动Jupyter Notebook服务器，并在本地浏览器中打开Jupyter Notebook。 在终端中输入以下命令启动Jupyter Notebook服务器： ``` jupyter notebook --no-browser ``` 服务器启动后，会输出一个类似于"http://localhost:8888/?token=xxxxxx"的链接。将该链接复制到本地浏览器中打开，即可进入Jupyter Notebook界面。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

起名大废废

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值