Windows深度学习环境搭建-wsl+docker

已于 2024-09-12 20:12:21 修改
阅读量473 收藏 7
点赞数 4
文章标签： windows 深度学习 docker
于 2024-09-11 14:28:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42892504/article/details/142126454
版权

引言

  • 网上公开的深度学习环境一般都是基于linux操作系统，但个人电脑常用的系统是windows，解决方案之一是使用新版windows下的wsl软件建立ubuntu虚拟机。
  • Docker是一种较为方便的虚拟环境管理器，网上也有大量公开的image可以用于特定环境测试，深度学习领域的determined框架基于docker环境展开测试，因此为了开发方便，在linux虚拟机下安装docker。
  • Anaconda是一个常用的python环境管理器，能便捷地管理python包，但在深度学习开发时，常用的pytorch、tensorflow等框架常需配合cuda使用，仅管理python包无法完全适配，docker是一个较好的解决方案，但建立docker环境需要同时生成操作系统文件，空间占用较大，可以配合使用二者进行更高效的深度学习开发。
  • 本文将建立一套下图所示的深度学习开发环境：
    在这里插入图片描述

wsl建立ubuntu虚拟机

（需要科学上网，详细教程可参考微软官方文档)

wsl --install     # 启用运行 WSL 并安装 Linux 的 Ubuntu 发行版所需的功能
# 按提示重启计算机

wsl --set-default-version 2   # 使新安装的linux系统默认使用wsl2引擎
wsl --list --online     # 查看可用的linux发行版列表
wsl --install -d Ubuntu-20.04    # Ubuntu-20.04为上一个指令运行后返回的可用发行版之一，按需安装
# 完成安装后将自动进入ubuntu系统，按提示设置用户名和密码

# 其它常用指令：
wsl -l -v   # 列出已安装的 Linux 发行版，并检查每个发行版的 WSL 版本

后续再准备使用该ubuntu系统时，可以使用MobaXterm软件，免费版即可满足需求，可以自动识别已建立的wsl系统并进入命令行界面
在这里插入图片描述

在ubuntu中安装docker

1、ubuntu软件源配置

详见教程

  1. 从教程文件中按需配置软件源，生成源代码
    在这里插入图片描述
  2. 备份原源文件，新建新源文件
sudo mv /etc/apt/sources.list /etc/apt/backup_sources.list 
sudo nano /etc/apt/sources.list   
# 粘贴上一步生成的全部源代码，并保存文件
# 在nano界面下保存文件可以先按两下esc，再按x，然后按提示回车确认
# 在MobaXterm的命令行交互界面可以使用鼠标中键粘贴文本
  1. 刷新源sudo apt-get update

2、docker配置

  1. docker安装
sudo apt install docker.io  # 安装docker

# 在docker容器中再安装docker容易出问题，操作前参考下述说明明确需求再实施（一般只需让容器能运行docker指令，此时只需要执行说明中的最后一节方案）
# https://jpetazzo.github.io/2015/09/03/do-not-use-docker-in-docker-for-ci/

# 安装显卡驱动工具，详细教程可参考：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
# 可能需要科学上网
# Configure the production repository:
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update   
sudo apt-get install -y nvidia-container-toolkit

# 重启docker服务
sudo systemctl restart docker
  1. docker换源，详见教程
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json<<EOF
{
    "registry-mirrors": [
        "https://registry.hub.docker.com",
        "http://hub-mirror.c.163.com",
        "https://mirror.baidubce.com",
        "https://docker.mirrors.sjtug.sjtu.edu.cn",
        "https://docker.nju.edu.cn"
    ]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

# 确认源已改入配置文件：
docker info | grep Mirrors -A 1
  1. 拉取深度学习镜像，建立容器，可用镜像之一：Determined官方的默认GPU镜像
# 拉取镜像
docker pull determinedai/pytorch-ngc:0.36.0

# 建立容器，注意指定共享内存空间，默认64M不满足大部分深度学习需求
docker run -it \
	--gpus all \
	--shm-size 20g\
	-p 8022:22 \
	--name test \
	-v /mnt/d/learn/doctor_thesis/:/home/WangXiaoFeng/doctor_thesis/ \
	determinedai/pytorch-ngc:0.36.0 \
	/bin/bash

# 意外退出容器时，可运行以下指令重新进入容器内交互，test为容器名
docker exec -it test /bin/bash

# 在容器内部进行远程登录配置
sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config	
ssh-keygen -A
# 设置root密码
passwd
# 重启ssh服务
service ssh restart
# 此时就可以通过“宿主机ip地址:8022”以root身份访问该容器，
# 但容器重启后无法直接ssh登录，需要再运行一次service ssh restart
# 修改家目录下的.bashrc文件可以实现容器启动后自动重启ssh服务
echo "service ssh restart" >> .bashrc
  1. 虚拟磁盘空间压缩，运行一段时间后，虚拟环境会占用大量空间，可以参考教程进行空间释放

3、Conda配置

conda的安装可参考教程，主要操作如下：

  1. 下载适用于ubuntu的conda安装包（后缀一般为Linux-x86_64.sh）：清华镜像
  2. 使用bash指令执行下载的安装包，按提示逐步安装conda：bash /home/WangXiaoFeng/doctor_thesis/Anaconda3-2021.11-Linux-x86_64.sh
  3. 安装后有可能仍无法直接运行conda指令，但已装入conda程序，可以配置别名便捷运行alias conda="/root/miniconda3/bin/conda"（=右侧是conda指令的位置，注意安装时选择的路径，或运行指令find / -name conda搜索conda位置），后续可通过编辑bashrc文件配置alias，启动终端后自动运行相应指令，简化操作：echo "alias conda='/root/miniconda3/bin/conda'" >> ~/.bashrc
  4. 运行指令即可创建虚拟环境：conda create -n pytorch python=3.8
    （ conda 是指调用 conda 包，create 是创建的意思，-n是指后面的名字是环境的名字， pytorch是环境的名字（可以更改成自己喜欢的），python=3.8 是指创建的环境所用的python是3.8 版本 ）
  5. 激活环境：conda activate pytorch
  6. 激活环境后使用pip或conda进行包管理，即可使相应环境具备相应库支持
  7. 其它常用指令：
# 查看环境：
conda info --envs
# 删除环境：
conda env remove -n pytorch
# 克隆环境：
conda create -n NewEnvName --clone OldEnvName
  1. conda源修改，更换国内源提高下载新包速度
    i. 打开用户家目录：cd
    ii. 修改配置文件，运行指令开始编辑配置文件：vi .condarc，添加源网址：使用清华镜像源的方法
    iii. 运行：conda clean -i，保证使用新的索引
    iv. 运行：conda info，确认是否生效
  2. pip源修改，更换国内源提高下载新包速度
    升级 pip 到最新的版本 (>=10.0.0)： python -m pip install --upgrade pip
    修改pip源：pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

4、pycharm解释器配置

pycharm是一个较为常用的pythonIDE，在使用时需要指定python解释器

  1. 在本地pycharm窗口中配置解释器：File→Settings→Project：*→Python Interpreter→齿轮图标左键单击→Add
    在这里插入图片描述

  2. 增加新解释器：SSH Interpreter，设置IP地址→登录。
    刚配置的docker环境位于wsl虚拟机内部，其地址（Host）可以在wsl虚拟机中运行以下指令获取：hostname -I，返回的第一个IP即为目标IP；
    端口号（port）则为docker容器启动时指定的映射到22端口上的端口（本教程中为8022），Username为容器内创建的用户名，可以是root，下一步会要求输入密码，密码就是第2.3节配置的passwd。
    在这里插入图片描述

  3. 选择解释器路径和项目文件夹同步路径：linux容器中预期的python解释器位置可以运行指令which python3找到，或全盘搜索可用的python3位置find / -name python3；文件夹同步路径建议设置成建立docker容器时配置的路径映射，减少文件同步所消耗的时间和空间资源

  4. 在项目中选择该解释器便可以在虚拟机中运行代码。

  5. 使用pycharm配置ssh解释器时可能会出现iIndex 11 out of bounds for length 11问题，运行以下指令可以解决：
    sed -i 's/# StrictHostKeyChecking ask/StrictHostKeyChecking ask/' /etc/ssh/sshd_config

# 运行determined实验时默认的python路径是/usr/bin/python3，如果需要使用其它环境，可以建立软链接更改默认路径的实际指向，具体操作如下：
# python3默认路径修正：
# 1. 删除掉默认的python文件
rm /usr/bin/python3
# 2. 建立软链接到预期的python文件
ln -s /opt/conda/bin/python3 /usr/bin/python3
# pip指令也会丢失，运行以下指令将pip的路径指明，后续再启动容器后就可以直接运行pip
echo "alias pip=/opt/conda/bin/pip" >> .bashrc
风丶守
关注
Win11的WSL2使用Docker部署深度学习环境-Python和Docker基操
小叶MW 的博客
04-13 1317
使用该镜像创建容器并指定该容器可以使用所有的gpu资源。针对于win系统下WSL子系统，安装Docker桌面版，Linux系统的Docker安装，可参考以下指令。安装pytorch并验证gpu是否可用。这里我介绍一种极简的部署方式。Docker数据迁移到磁盘。容器外部数据传入容器内部。拉取python镜像。
windows系统利用docker搭建linux深度学习环境总结
weixin_51691064的博客
11-27 5006
windows中安装linux环境的总结
利用WSL(Windows上Linux子系统)进行深度学习开发
qq_39650423的博客
11-11 1464
Windows下运行Ubuntu（WSL2） 并使用CUDA 想要再Windows下使用Linux，一般有两种方法。一是使用WSL（Windows子系统），二是使用虚拟机。 虚拟机不支持调用显卡。若想要在Win下使用Linux并使用CUDA，则需安装子系统。 步骤如下： 1.安装WSL2 2.安装英伟达WSL驱动 3.在WSL中安装cuda 1，安装WSL2 在win10任务栏搜索框输入 功能 选择开启或关闭windows功能。 界面如图 勾选适用于Linux的Windows子系统 在Windows应用商
在本地windows中利用wsl2部署docker应用
m0_62177801的博客
06-30 3051
如何将应用部署到docker中
【物体检测快速入门系列 | 03】Windows部署Docker GPU深度学习开发环境
机器未来的博客
05-17 3072
在《物体检测快速入门系列(2)-Windows部署GPU深度学习开发环境》一文中已经描述了如何在Windows环境下部署GPU深度学习开发环境，但是要我推荐的话，我还是倾向于docker环境，无需安装cuda、cuDNN，docker镜像安装完毕后，就都好了，一键部署好之后，可以随意迁移，再也不用环境发愁了............................
docker配置深度学习环境（WSL2）
weixin_42888638的博客
10-12 675
docker配置深度学习环境（WSL2）
WIN11+WSL2+Docker 深度学习环境部署
godblesstao的博客
01-28 2074
Windows系统开发偶尔会出现一些系统底层的bug导致程序无法运行，开发很难受。Linux系统开发，娱乐软件少，不尽兴。双系统切换太麻烦，不能同时使用，难受！如何结合Windows和Linux，既能畅爽娱乐，又不会被底层BUG影响开发，来试试Windows的子系统WSL2吧！！本次思路为：在WIN11系统安装WSL2子系统，在WSL2子系统中安装docker engine，通过docker隔离不同的开发环境。
吴恩达机器学习环境本地化构建(wsl+docker+tensorflow+cuda)
amuro_ray027的博客
03-18 2191
本文介绍了在Windows上搭建吴老师的 Machine Learning Specialization的Lab的运行环境的过程。主要采用了docker技术并启用了GPU加速
2023保姆级：深度学习环境在Docker上搭建（基于Linux和WSL）
qq_37191476的博客
07-27 6258
在深度学习领域，配置环境的常见做法是使用conda来实现环境隔离。conda是一个广泛使用的工具，用于创建和管理特定的环境，通过在不同的环境中设置特定的Python环境变量路径，实现了环境的特异化。为了实现这一目的，需要将终端置于conda的管理之下。如果你已经安装了conda，你可能已经注意到在bash中需要执行（在Windows上则是）来初始化conda的bash或powershell配置。Docker作为一种虚拟化技术，利用镜像作为基础配置，可以轻松地创建和管理容器。
2021年 Windows10 环境下使用WSL和Docker 配置深度学习环境- 可使用任意版本的 Ubuntu+CUDA image 以及踩坑记录
hadonga的博客
02-10 4600
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 Windows10 环境下配置Docker 使用任意版本的 Ubuntu+CUDA image前言一、在Windows10 上配置WSL21. 加入 Windows Insider Program 安装WSL2（官方方法）（1）不加入insider program 的手动配置方法2. 安装Linux核心和对应版本3. 安装支持WSL2的nvidia驱动二、在ubuntu里面配置Docker1. 配置 CUDA Toolkit 10.22.
【WSL2笔记2】 搭建深度学习开发环境踩坑笔记 Ubuntu+CUDA+cuDNN+PyTorch+Tensorflow+ONNX
老富的博客
04-06 2647
错误的结果就是配置的所有虚拟环境都以base的python版本运行，无法配置每个虚拟环境使用不同python版本，失去了虚拟环境意义。至此，适用PyTorch、Tensorflow、cuDNN框架的深度学习开发环境搭建完成。WSL 上的 CUDA 用户指南。安装protobuf 3.2版本。Anaconda官网版本档案。下载Anaconda安装包。创建Python虚拟环境。设置Anaconda路径。需要注册账号登录下载。通过SSH传送WSL。
windows下wsl ubuntu 搭建深度学习环境
qq_35661896的博客
08-11 730
删除之前安装的ubuntu;查看都安装了哪些版本：wsl -l -v删除想要删除的版本：wsl --unregister ${名字}删除之后 ubuntu.exe的安装包还在c盘中， 找到它， 并将 ubuntu.exe的所在文件夹的所有文件都复制到你想要安装的新的路径下，比如我在E盘新创建一个文件夹： E:\wsl_ubuntu_20.04，复制过去后如下：然后卸载c盘的ubuntu；
一文搞定Windows11+WSL+Pycharm开发环境及避坑
避坑救助站
04-19 3148
WSL配合Pycharm的开发环境，虽然有点小的问题，总体来说体验是不错的。 有朋友可能也体验过远程开发，远程开发对服务器性能、开发终端的性能以及网络传输都有很高的要求，性能开销不小，性能开销主要来源于代码的实时同步。 而WSL的方式是Linux子系统挂载WIndows的文件系统，说白了代码没有拷贝来拷贝去的，自然性能开销就小了。 并且WSL在过程中仅仅作为一个python解释器的角色，Pycharm本身的性能还是依赖于WIndows自然流畅很多
Windows Docker环境下neuralRecon环境配置手把手教学
weixin_40423190的博客
10-14 1180
pyglet.canvas.xlib.NoSuchDisplayException: Cannot connect to "None"
Java中的数据合并与拆分：使用Stream API实现数据的灵活处理
技术研究中心
09-29 896
在Java开发中，数据处理是最基础的操作之一，而在面对大量数据时，合并与拆分数据是常见的需求。无论是简单的数据集合操作，还是复杂对象的属性合并，Stream API 都能够灵活应对，并提高代码的可读性和可维护性。Stream API 是 Java 8 引入的一个强大的工具，旨在简化对集合数据的处理。下面的示例展示了如何从一个订单对象中提取商品列表，并将其合并为一个总的商品集合。操作，我们可以轻松地提取对象的某个属性，并将其合并为一个新的数据集。合并数据通常指的是将多个集合或数组的数据进行拼接、组合。
【hot100-java】【二叉树的层序遍历】
m0_73629042的博客
09-30 578
【代码】【hot100-java】【二叉树的层序遍历】
STL之list篇（上）初识list容器，了解其核心机制，实例化对象进行分析
suye050331的博客
09-28 1231
std::list容器，顾名思义，实现了双向链表的数据结构。与基于数组的容器（如std::vector）不同，std::list中的元素并不是连续存储在内存中的，而是通过节点（Node）之间的指针相互连接。这种设计赋予了std::list在插入和删除操作上的巨大优势——无论元素位于何处，这些操作都可以在常数时间复杂度O(1)内完成，而无需像数组那样可能需要移动大量元素。因此，让我们一起探索std::list的奥秘，领略其在C++编程中的独特魅力吧！
深入理解 C# 中的集合与数据结构
最新发布
qq_45728381的博客
10-02 1244
在日常开发中，集合与数据结构是处理数据的基础工具。C# 提供了一系列强大而灵活的集合类型，帮助我们存储、访问和管理数据。这篇文章将带你了解 C# 中常用的数组、列表、字典、队列、栈、集合和链表的特性和用法。
docker+desktop-unexpected+wsl
11-22
Docker Desktop是一个用于在Windows和Mac上运行Docker的应用程序。它提供了一个用户友好的界面，可以轻松地管理和运行Docker容器。WSL（Windows Subsystem for Linux）是Windows 10中的一个功能，它允许用户在Windows上运行Linux发行版。 如果在安装Docker Desktop时遇到了"docker+desktop-unexpected+wsl"错误，可能是由于WSL未正确配置或启用所致。以下是解决此问题的步骤： 1. 确保已安装WSL：在Windows 10上，打开PowerShell或命令提示符，并运行以下命令来检查WSL是否已安装： ```shell wsl --list --verbose ``` 如果没有任何输出或显示"WSL 2 is not installed"，则需要安装WSL。可以按照Microsoft的官方文档进行安装：https://docs.microsoft.com/en-us/windows/wsl/install-win10 2. 启用WSL 2：在安装WSL后，需要将WSL 2设置为默认版本。打开PowerShell或命令提示符，并运行以下命令： ```shell wsl --set-default-version 2 ``` 3. 安装Linux发行版：在WSL 2中运行Docker需要安装一个Linux发行版。可以从Microsoft Store中选择一个喜欢的发行版，例如Ubuntu、Debian等。打开Microsoft Store，搜索并安装所选的发行版。 4. 配置Docker Desktop：打开Docker Desktop应用程序，转到设置（Settings）-> WSL Integration。确保已启用所需的Linux发行版，并将其与Docker Desktop关联起来。 完成上述步骤后，应该能够成功安装和运行Docker Desktop，并在WSL 2中使用Docker。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值