在Win10游戏本中搭建MindSpore-GPU的深度学习环境

最新推荐文章于 2024-08-04 21:19:50 发布
最新推荐文章于 2024-08-04 21:19:50 发布
阅读量1.9k 收藏 8
点赞数 4
分类专栏： MindSpore 深度学习 文章标签： 深度学习 windows gpu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keepgolearning/article/details/109445647
版权

在Win10游戏本中搭建MindSpore-GPU的深度学习环境

背景

自从华为开源了MIndSpore深度学习框架，题主就始终惦记着要充分利用手里有且仅有的游戏本，给它加持一套高大上的支持GPU的MindSpore环境，但让人泪奔的是——MindSpore-gpu不兼容Windows！！！

虽然MindSpore也能在Windows里运行，但那是CPU的安装版。可连GPU都不能用还有什么资格配叫深度学习机？

那么，在Windows上运行Docker行不行呢？这个空子没法钻。

那么，安装VMWare虚拟机行不行呢？这个选项大概率也走不通。

对这些问题有兴趣的同学请参考这些资源：

  • https://www.mindspore.cn/install

  • https://bbs.huaweicloud.com/forum/thread-81854-1-1.html

  • https://bbs.huaweicloud.com/forum/thread-82387-1-1.html

  • https://www.v2ex.com/t/673666

那么，装双系统行不行呢？肯定行，不过上个世纪就已经体验过两个系统来回切换的“安全方案”，那些痛苦至今还会在梦里找回来。怕了。

再添一台机器总可以了吧？肯定能完美解决，但这不是本文讨论的问题，所以不差钱的朋友完全没有必要继续在本文上浪费时间了。

难道说只能弃Windows转投Ubuntu的怀抱吗？可是使用习惯已经被微软悉（WU）心（QING）培（DU）养（HAI）了二十多年，又怎么可能能说改就改呢？即使改变也要有个过渡吧。

为了让Windows和MindSpore-GPU和睦共处，题主启动了“金字塔”项目，前前后后折腾了近一个月，经历了各种幻想、折磨、无奈和期待，终于苦尽甘来，成功在一台Win10游戏本上让华为MindSpore-gpu版本狂奔起来。之所以名为“金字塔”，盖因层层叠叠安装了一大堆虚拟机，Docker，最后就是为了顶上的MindSpore-GPU耀眼夺目。

闲话到此，以下干货。

一、“金字塔”项目目标

在一台机Win10游戏本上，运行MindSpore-gpu：

  • 在Win10系统中开启WSL2，运行虚拟机

  • 虚拟机可以使用宿主机GPU资源

  • 虚拟机运行Docker

  • 运行在Docker中的MindSpore-gpu能够利用主机GPU资源进行计算加速

二、系统环境

  • Docker镜象版本：mindspore-gpu :1.0.0
  • Docker版本： 19.03.13, build 4484c46d9d
  • WSL虚拟机OS版本：Ubuntu 18.04
  • WSL版本：WSL2
  • 宿主机CUDA版本： 11.2
  • 宿主机OS版本：Windows10家庭版2004（OS内部版本 20236.1000）
  • 宿主机硬件：HP暗影精灵II， Intel HD630（集显）+Nvidia GTX1050Ti（独显）

三、避大坑

  • Windows 开发版（也就是OS内部版本）从20211到20215概率性不能启动WSL虚拟机。NVIDIA Drivers for CUDA on WSL不支持Windows开放版20211-20221。如果当前主机是这几个版本，一定想好要不要往下走。
  • 谁也不能保证微软和Nvidia未来的更新是不是完全可用，请关闭Windows自动更新，并做好全系统备份。
  • 宿主机不能安装Docker Desktop，与虚拟机Docker冲突。

四、安装过程

1、加入Windows Insider计划

我们的目标是让WSL虚拟机使用GPU资源。其实微软的WSL2已经很友好了，目前任何发行版都可以开启并运行Linux虚拟机。不过，想要虚拟机使用GPU的资源，就必须加入Windows Insider计划，激活Winows开发版。

  • 使用Microsoft Store帐户登录Windows Insider主页https://insider.windows.com/zh-cn/，然后按照向导一步步往下走，都是常规的操作，如果网站慢就耐心多等一会。
    在这里插入图片描述
  • 打开”设置“，选择“更新与安全”，选择“Windows预览体验计划”，选择“Dev渠道”。
    在这里插入图片描述
  • 重新进入”更新与安全“，选择”检查更新“，系统会自动下载并安装最新开发版更新包。耐心等待升级完成。
  • 安装完成后提示重新启动，现在不想重启也没关系，等到第3步激活WSL2之后再重启。重启之后按win+R，输入"winver"可以看到版本更新了。
    在这里插入图片描述

2、安装NVIDIA Drivers for CUDA on WSL

这部分是跟显卡有关系的活。根据 NVIDIA Drivers for CUDA on WSL.指南下载对应的软件包。我的显卡是GTX1050Ti，所以下载GFORCE DRIVER。
在这里插入图片描述
在这里插入图片描述
下载启动时会提示用Nvidia开发者帐户登录。如果还没有的话，根着网页指南走就好了，都是常规的操作。下载文件名叫460.20_gameready_win10-dch_64bit_international.exe，一个646M的大文件，需要耐心等。下载完成后执行安装。安装完成也不必重启。下一步激活WSL2之后需要重启，就两步合一步了。

AMD显卡的朋友请自行实验，我没有设备帮不上忙。

3、激活WSL2

WSL2已经是Window内置的特性，开启非常简单。

  • 打开”设置“，选择”应用“，选择右上角”程序和功能“（如果看不到，就最大化窗口）。
    在这里插入图片描述

  • 在弹出的程序和功能窗口中，选择“启动或关闭Windows功能”；在弹出的Windows功能窗口中选择”Windows Subsystem for Linux“和”虚拟机平台“。
    在这里插入图片描述

  • 重启机器

  • 去更新 WSL 2 Linux 内核，根据指南下载并安装升级的Linux内核文件wsl_update_x64.msi。WSL2运行真正的Linux内核的，想象一下在Windows上运行的是”真正的“Linux机器就有些小爽。

  • 以管理员身份，打开PowerShell窗口，输入以下命令激活WSL2

PS C:\Users\Linux> wsl --set-default-version 2-set-default-version 2

4、安装Ubuntu

  • 打开Microsoft Sotre，在搜索框里输入Ubuntu，挑你喜欢的版本。最左边不带版本号的就是20.04。我最终使用了18.04。20.04老报错。
    在这里插入图片描述
  • 选择版本，等待下载完成（系统会有提示），然后在启动菜单中可以看到“Ubuntu-18.04 LTS”。点击启动虚拟机。
    在这里插入图片描述
  • 弹出Ubuntu终端窗口，系统自动安装，等一会安装成功，系统提示输入用户名和密码。
    在这里插入图片描述
    这里有一个错误提示，是因为宿主机的备份卷被锁了，子系统访问不到。这里展现了用WSL2的好处之一是：子系统可以把宿主机的文件夹挂在自己下面，同样的，宿主机也可以直接访问子系统的目录，这样一来，相互之间拷贝文件简直不要太方便，不用cp，mv的敲半天。

5、在Ubuntu中安装Docker

在Ubuntu终端窗口中输入以下命令，安装Docker。

$ curl https://get.docker.com | sh

如果系统提示Docker已经存在了，果断ctrl+C终止就行了。
在这里插入图片描述

6、 安装MindSpore Dcoker镜像

根据MindSpore官方代码仓上的指南，下载并安装mindspore-gpu:1.0.0 Dcoker镜像。

  • 更新nvidia docker list
$ DISTRIBUTION=$(. /etc/os-release; echo $ID$VERSION_ID)
$ sudo curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | apt-key add -
$ sudo curl -s -L https://nvidia.github.io/nvidia-docker/$DISTRIBUTION/nvidia-docker.list | tee /etc/apt/sources.list.d/nvidia-docker.list
  • 安装nvidia-container-toolkit
$ sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit nvidia-docker2
  • 重启docker服务
$ sudo service docker stop
$ sudo service docker start

WSL2虚拟机运行在init 1状态，因此无法systemctl命令

  • 编辑docker的daemon.json文件（我感觉，这个文件已经存在了，不用再写一遍。可以先cat看一下有没有，没有再照着写好了。）
$ sudo vim /etc/docker/daemon.json
{
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}
  • 再次重启docker服务
$ sudo service docker stop
$ sudo service docker start
  • 在Ubuntu终端窗口中输入以下命令，把mindspore-gpu:1.0.0 Dcoker镜像拉到本机来。
$ sudo docker pull mindspore/mindspore-gpu:1.0.0
  • 把MindSpore docker跑起来
sudo docker run -it --runtime=nvidia --privileged=true mindspore/mindspore-gpu:1.0.0 /bin/bash
  • 终于到了测试这一步了。在docker内，打开python窗口。
    在docker里，操作员获得管理员的权限，所以不用每条命令都要打sudo了。在这里插入图片描述
  • 输入下面的脚本
import numpy as np
import mindspore.context as context
from mindspore import Tensor
from mindspore.ops import functional as F

context.set_context(mode=context.PYNATIVE_MODE, device_target="GPU")

x = Tensor(np.ones([1,3,3,4]).astype(np.float32))
y = Tensor(np.ones([1,3,3,4]).astype(np.float32))
print(F.tensor_add(x, y))

如果得到下面的结果，就大功造成了！从资源管理器GPU1的图表上看出这段脚本消耗了GPU的资源。

在这里插入图片描述

五、后记

题主本来只是一枚Linux小白，一个月以前对Docker除了名字更是一无所知，在“金字塔”项目执行过程中真可谓真是大坑小坑不断落，大包小包满脑袋。回想着各种错误带着诚意扑面而来时的目瞪狗呆不知所措，每次一有新的开发版推出就满心欢喜地以为问题跑光光最后又一次次失望，各种大神的各种神贴的有话留三分不得不在不同的环境下怼怼，有时候真是把机器拍碎的心都有。

话说无知无谓。就在发稿之前的一刻，题主大脑抽筋想再试一下Windows上直接跑Docker，安装了Docker Desktop，然后虚拟机里的Docker容器文件全不见了！！！以为辛苦工作的成果全都飞升了，当时真想嚎啕大哭，后来想了半天，感觉有可能是宿主机Docker Desktop把虚拟机的Docker给接管了？试着把宿主机Docker Desktop删除重启，才恢复如常了。反正为什么会出问题也不知道，问题解决了也不知道为什么。

所以奉劝各位朋友，要是精神上能够受得了折磨，不妨也试着弄一弄。友情提示：开发版可以提前尝鲜新功能，代价就是不稳定，切记如果决定使用，那么一定要把可以运行的环境备份好。在一个持续变化的环境里，再怎么强调备份都不过分。当然，技术流弊的，做这点事儿自然不在话下。不太差钱的就不如多搞台机器来直接装Ubuntu。实在不差钱就干脆到华为云上租个Atlas主机更加好了。

ML饭
关注
专栏目录
win10+anaconda+RTX3070+tensorflow-gpu深度学习环境搭建
自在独行的博客
03-07 2394
1、安装版本 Python 3.8.5 tf-nightly-gpu 2.5.0 Anaconda3-2020.11-Windows-x86_64 2、下载 Anaconda Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 3、 Anaconda Prompt中输入安装指令 conda create -n tensorflow-gpu python=3.8.5 activate tensorflo
Win10-GPU服务器-深度学习从零配置环境
专注“目标检测”领域技术分享
10-26 1521
本文讲解了，win10服务器下，从零配置环境的下列命令。（1）anaconda（2）cuda（3）换源
Windows下运行gpu版本mindspore过程记录
skytttttt9394的博客
07-26 410
转载地址：https://bbs.huaweicloud.com/forum/thread-83076-1-1.html 作者：芳菲菲兮满堂 在论坛上看到有折腾wsl2下运行mindspore gpu容器成功的案例，想着既然dockers容器能够运行 那么wsl也能够识别到宿主机的gpu 不用在走一层docker，所以开始验证之旅 首先要注册微软的内部开发计划：https://insider.windows.com/en-us/getting-started#register里面有详细的注册步骤，..
windows 部署 mindspore GPU 开发环境（WSL）
最新发布
Wolf_xujie的博客
08-04 1037
确保已经安装 WSL在微软应用商店搜索时务必输入全名，并安装应用商店默认的 Ubuntu 版本号已经更新至 24.04，目前发现，改变24.04的安装位置可能导致虚拟机无法启动）自定义位置安装过程与C盘安装教程相似。最大区别在于，我们按照教程或官方文档从微软商店下载Ubuntu之后，不要点击启动，而是要将安装包复制到我们想要的位置，之后 Ubuntu 就会被安装到该位置。具体步骤如下。
（一）Win10安装MindSpore平台
weixin_40171930的博客
09-07 770
win10安装MindSpore平台，配置选择及安装问题解决
游戏本安装双系统ubutnu18.04搭建深度学习环境
weixin_34375054的博客
09-04 593
2019独角兽企业重金招聘Python工程师标准>>> ...
从0到1在win10上学习MindSpore
Wandering的博客
01-29 440
记录从0入门学习 MindSpore的过程 相关链接 MindSpore官网 MindSpore论坛 MindSpore视频 一.MindSpore简述 MindSpore是一个全场景深度学习框架，旨在实现易开发、高效执行、全场景覆盖三大目标，其中易开发表现为API友好、调试难度低，高效执行包括计算效率、数据预处理效率和分布式训练效率，全场景则指框架同时支持云、边缘以及端侧场景。 MindSpore总体架构分为前端表示层（Mind Expression，ME）、计算图引擎（Graph Engine，GE）和
【MindsPore install】ubantu18.04+cuda10.1+cudnn7.6.5 华为最新深度学习框架MindSpore-GPU/CPU版本安装教程（超详细）
weixin_44224198的博客
08-07 2808
华为最新深度学习框架MindSpore-GPU/CPU版本安装教程（超详细）Mindspore简介CPU版本安装流程打开命令行窗口安装anaconda并创建虚拟环境：安装CPU版本mindspore测试GPU版本安装流程安装anaconda并创建虚拟环境：安装GPU版本mindspore查看cuda和cudnn版本及出现的相关问题安装MPI依赖库安装nccl依赖库测试 Mindspore简介 MindSpore是由华为于2019年8月推出的新一代全场景AI计算框架，2020年3月28日，华为宣布MindS
Conda 配置 TensorFlow-GPU 深度学习环境(10分钟)
黑暗星球
03-14 8234
TensorFlow 作为一个比较流行的框架，每年都有很多的新用户。而作为一个 TensorFlow 学习者，首当其冲的便是配置 TensorFlow 深度学习环境。TensorFlow 深度学习环境一般分为 CPU 版和 GPU 版本，其中，CPU 版本比较好配置，GPU 版本比较难配置。目前，随着 Conda（Anaconda和Miniconda） 的大量使用，TensorFlow 深度学习环...
关于在pycharm中搭建tensorflow-gpu环境的详细安装过程记录
热门推荐
eye123456789的博客
12-07 1万+
关于在pycharm中搭建tensorflow-gpu环境的详细安装过程记录 简单介绍一下搭建环境需要的辅助软件anconda、CUDA、cudnn anconda:就是一个开源库，里面有很多包，包含tensorflow-gpu(这就是为啥搭建tensorflow-gpu要安装它) CUDA是NVIDIA推出的用于自家GPU的并行计算框架，也就是说CUDA只能在NVIDIA的GPU上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。 cuDNN（CUDADeepNeu..
mindspore【数据加载报错】windows本地正常，GPU服务器加载数据报错
weixin_45666880的博客
07-11 223
加载数据集代码如下，由于数据长度不一样设置多个batch_size时会报错，所以在getitem中一次返回多个batch【操作步骤&问题现象】1、本地mindspore1.5+windows+cpu运行正常2、服务器mindspore1.5+cuda10.1+gpu数据加载报错，每次运行中止的地方不相同，大约在执行30-40次__getitem()后终止，但均未执行到construct阶段【截图信息】解答： 可以先用上面的方法递归下数据集，看数据集迭代输出有没有问题。循环10个epoch，可以用如下方法
windows下安装MindSpore
天凉好个秋的博客
01-23 1149
安装MindSpore中遇到的问题 遇到问题 在anaconda基础虚拟环境下下载会报错 错因：需要在新的虚拟环境下运行 具体解决方法 mindspore安装（转载）
wsl安装gpu版mindspore（一）
kewei chen
09-12 974
然后，我突然发现一键运行的脚本是不支持wsl的，这下搞崩了，只有重新下载wsl，卸了重来。出了错，重来又在下载了，建议新建一个如果已有文件不再下载的逻辑。如果没有nvidia-smi，这个逻辑可以在bash里面实现？刚出炉的新机，wsl和windows的nvidia共享。ping通，那么不是我的问题。win+shift+s截图。难道是我移动网卡的问题？把网卡拔了，用本地网。
wsl安装gpu版mindspore（二）
kewei chen
09-12 723
安装cuda时千万记住不要安装驱动，不要安装驱动，不要安装驱动！其余选项该怎么装怎么装，就是不要装驱动！Driver相关一定要N或者X掉！访问 https://docs.conda.io/en/latest/miniconda.html。安装后一定有提示，Driver: Not Selected。第一次执行验证语句需要几分钟，请耐心等待。但是貌似这个版本就没有Driver选项。没办法，网上的一键安装不适用于wsl。python自动是3.9.12。下载了这个tar文件后，我们。安装mpi，便于远程。
源码编译mindspore，分别在云服务器与wsl2启动编译，利用tmux和swap
kewei chen
01-01 892
参考：https://blog.csdn.net/weixin_43922901/article/details/89230499。tmux用于远程编译，开启一个会话窗口，当ssh连接断开时，重新连接便无法继续上一次的内容，可以防止编译信息中途丢失。参考：http://www.ruanyifeng.com/blog/2019/10/tmux.html。进入到0号tmux窗口，下面会显示绿色的窗格，就可以看到我们之前的命令了。tmux ls可以显示当前开启的tmux。这样就可以充分利用物理机内存和交换空间。
【MindSpore易点通·漫游世界】在WSL的Ubuntu 20.04上一键安装MindSpore GPU 1.6.1
张小白
06-22 588
有朋友使用Ubuntu 20.04裸机尝试了一键安装MindSpore 1.6.1的版本。那么，张小白也试一下吧。首先，你需要一个ubuntu 20.04.在有了ubuntu 18.04的WSL的基础上，怎么才能共存一个Ubuntu 20.04.想必先要把18.04关机。打开PowerShell的管理员模式：先下掉WSL：wsl --shutdown打开Microsoft Store:查找 ubuntu 20.04.4 LTS:请忽视下面的低分评价。让我们点击获取按钮。耐心等待下载完毕。直到可以打开：那就打
【Mindspore】深度学习、MindSpore使用与杂七杂八
sAnsOxygEn的博客
12-07 530
一些记录。关于Win用户如何使用MindSpore和其他。
docker使用GPU
03-21
Docker是一种开源的容器化平台，可以帮开发者将应用程序及其依赖项打包成一个独立的容器，以便在不同的环境中进行部署和运行。使用GPU加速可以提高计算密集型应用程序的性能，而Docker也提供了支持GPU的功能。 要在Docker中使用GPU，首先需要确保你的主机上已经正确安装了GPU驱动程序，并且支持NVIDIA Container Toolkit。接下来，你需要使用Docker命令行工具或者Docker Compose来配置容器以使用GPU。 下面是一些使用GPU的Docker配置选项： 1. 在Docker命令行中使用`--gpus`参数来指定要分配给容器的GPU数量。例如：`docker run --gpus all my_gpu_app`。 2. 在Docker Compose文件中使用`runtime: nvidia`来指定容器运行时为NVIDIA。例如： ``` version: '3' services: my_gpu_app: runtime: nvidia ... ``` 3. 在容器内部，你可以通过CUDA或其他GPU编程库来访问和使用GPU资源。 需要注意的是，使用GPU加速的容器可能需要额外的配置和权限，具体取决于你的操作系统和GPU驱动程序版本。此外，确保你的应用程序在容器中正确地配置和使用GPU资源。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值