anaconda 删除环境_xDatawhale | 深度学习环境配置指南!(Windows、Mac、Ubuntu全讲解)...

环境配不对,学习两行泪。

深度学习,从入门到放弃,更有千军万马倒在了入门第一道关卡:深度学习环境配置

如果你正在面临配置环境的痛苦,不管你是Windows用户、Ubuntu用户还是苹果死忠粉,这篇文章都是为你量身定制的。

接下来就依次讲下 Windows、Mac 和 Ubuntu 的深度学习环境配置问题。

788633b7a41a2ef19b563ed52167c353.png
版权声明: 本文为 Datawhale 组织原创文章,作者:伍天舟、马曾欧、陈信达。
经本人所在开源学习组织 @Datawhale 授权转载发布,仅供学习讨论。
文章首发于深度学习环境配置指南!(Windows、Mac、Ubuntu全讲解)@Datawhale
@白小鱼 对内容有增改。

一、Windows系统深度学习环境配置

系统:Win10 64位操作系统

安装组合:Anaconda+PyTorch(GPU版)+GTX1060

开源贡献:伍天舟,内蒙古农业大学

1.1 打开Anaconda Prompt

1、创建名为pytorch的虚拟环境,并为该环境安装python=3.7

conda create -n pytorch python=3.7.0

2、激活名为pytorch的环境

activate pytorch

f09c021575843fdd349a2296c806260f.png

1.2 确定硬件支持的CUDA版本

NVIDIA控制面板-帮助-系统信息-组件

74d70e2e1431dfa4b8c43403c8277a3c.png

2020年5月19日16:46:31,我更新了显卡驱动,看到我的cuda支持11以内的

1.3 确定pytorch版本,torchvision版本

进入pytorch官网:https://pytorch.org/get-started/locally

c05f3261fca847ba94e09643cc272d52.png

因为官方源太慢了,这里使用清华源下载

1.4 镜像中下载对应的安装包

【更换清华源】 conda换源

清华镜像:Index of /anaconda/cloud/pytorch/win-64/

pytorch:

3e59734ab57fe42128b0e770d336fd6e.png

torchvision:

135513d9517d152437a7dbb311c27a15.png

1.5 本地安装

接着第一步,在pytorch环境下进行安装,依次输入如下指令。

eb90108de6dfb80a5238a01d20c13de5.png

cd48c8f63d5dbc90b6e3791d17a13378.png

然后回到虚拟环境所在目录,安装环境所需的基础包

conda install anaconda

5c3843258c0373cde7cf29556e51960f.png

1.6 测试

代码1:

from future import print_function
import torch
x = torch.rand(5, 3)
print(x)

输出类似于以下的张量:

d3ab1df6a52becc30b10485e7768010d.png

代码2:

import torch
torch.cuda.is_available()

输出:True

如果以上两段代码输出无异常,表明环境搭建成功。

1.7 遇到的问题

  • 用下面命令创建虚拟环境报错
conda create -n py37_torch131 python=3.7

583532c783b4a2f6a6683448929d084c.png

【解决方法】 环境会保存在Anaconda目录下的envs文件夹内

  • PackagesNotFoundError: The following packages are not available from current channels

9b6d7efb52fdbabf1b4b5fd9c3baeecf.png

【解决方法】

  • conda下载太慢问题

【解决方案】更换清华源:https://mirror.tuna.tsinghua.edu.cn/help/anaconda/

  • cuda 安装

cuda历史版本下载:https://developer.nvidia.com/cuda-toolkit-archive要看NVIDIA的组件,自己的CUDA支持哪个版本,我是1060显卡,所以我下的10.0版本的cuda

4d7cfb6055f8ffee17103ed10dc1f675.png
  • PyTorch 安装

官网没有我的组合,我满脸问号

7c10e94728b687130adb49ada59b820a.png

这里我直接调用命令(别忘了先进入刚创建的环境)

conda install pytorch torchvision cudatoolkit=10.0 -c pytorch
  • jupyter note如何进入虚拟环境
python -m ipykernel install --name 虚拟环境名

1. 打开Anaconda Prompt,输入conda env list,查看现有环境

conda env list

2. 激活想切换的环境(name是你想切换的环境)

activate name

3. 安装必要插件

conda install ipykernel 

4. 将环境添加到Jyputer中(Name是此环境显示在Jyputer中的名称,可自定义)

python -m ipykernel install --name Name 

删除内核

jupyter kernelspec remove 内核名称

dcb08c28cee17abe89ded22c1e47fbf9.png

报错[Errono 13]

[Errno 13] Permission denied: ‘/usr/local/share/jupyter’

为此,需要添加–user选项,将配置文件生成在本账户的家目录下。

python -m ipykernel install --user --name py27-caffe-notebook

至此,添加kernel完成。查看已有的kernel:

jupyter kernelspec list

删除已有的kernel

jupyter kernelspec remove kernelname

以上的命令删除仅仅是配置文件,并没有卸载相应虚拟环境的ipykernel,因此若要再次安装相应python虚拟环境的kernel,只需激活虚拟环境,然后

python -m ipykernel install --name kernelname
  • conda 安装一半总失败

把文件下载到本地,进入该文件的目录,然后用命令

conda install --offline 包名

二、Mac深度学习环境配置

安装组合:Anaconda+PyTorch(GPU版)开源贡献:马曾欧,伦敦大学

2.1 安装Anaconda

Anaconda 的安装有两种方式,这里仅介绍一种最直观的——macOS graphical install

https://www.anaconda.com/products/individual 网站,找到 Anaconda Installers,

选择Python 3.7 下方的“64-Bit Graphical Installer (442)”,点击并下载好

afe25bf87012e9f56a9a45e1ac755640.png

pkg 安装包后点击进入,按下一步完成安装即可。默认安装地点为~/opt。

注:想用 command line install 命令安装
请自行参考: https:// docs.anaconda.com/anaco nda/install/mac-os/

2.2 确认下载情况

6bb4005792a0b8246bd432aa7cf17ec4.png

在Mac 的Terminal 里,输入

python --version

确保安装的Python 是3.x 版本。在Terminal 输入

jupyter notebook

弹出网页,即可进入notebook。

0ce56b7e8ac6227efcbe8bf97cb43ed6.png

在网页右上角点击Quit,或返回Terminal,command + c,退出notebook。

5962ffbb955c88e6c976f8c7b5b76fc5.png

2.2.1 常见问题

如果电脑中下载了多个Anaconda,运行时可能出现冲突。在Terminal 中输入

cd ~

返回home 目录,输入

cat .bash_profile

如果只能看到一个Anaconda 版本就没有问题。如果有多个则下载包时有可能造成一定的冲突。用vim、nano 或其他文本编辑器把旧版本Anaconda 的

export PATH= ...

删除。

2.3 虚拟环境和包的下载

用conda 去创建虚拟环境和下载对应的包是很简单的一件事。

2.3.1 Graphic

点击Anaconda-Navigator,可以看到自己下载好的应用程序,左上角“Applications on”应该指向的是“base (root)”,左边点击“Environments”就可以看到自己建立的虚拟环境和对应的包了。点击左下角的Create 即可创建一个新的虚拟环境。

9518973c1488dd4079408e52a5311825.png

输入环境名称和python 的版本,点击create 进行创建。

0ac25e419f1ff0f671ece356c016afee.png

之后在Home 页面,确保左上角指向的是你刚刚创建的环境名,在这个环境下install jupyter notebook,注意原本装的notebook 是在base 里的,不可通用。

回到Environments 中,可以看到在此环境中的所有包,左上方选择All,然后输入想要下载的包名

f6a31a02cf9dcc1033b197c1e6561b8a.png

然后选中进行下载

dd811f22cccf1078b257dd6935644dc3.png

2.3.2 Command Line

用command line 完成以上的操作也很简洁。这次以Pytorch 为例。在Terminal 中输入

conda create --name env_name

就可以创建一个虚拟环境,叫“env_name”。输入

conda env list

即可看到创建了的所有虚拟环境,其中打* 的就是当前环境。输入

conda activate env_name

进入环境

conda deactivate

退出当前虚拟环境,进入base。

2.3.3 下载Pytorch

一般情况下Mac 是不支持CUDA 的。进入 https://pytorch.org/ 可以看到

b8fec004b347541bd9c67c39ca5b710a.png

pytorch 官网显示当前设备应该用的下载语句。此情况,我的是

conda install pytorch torchvision -c pytorch

复制下来,粘贴到Terminal 中运行就可以开始下载了。

下载完成后,在Terminal 输入

python3

之后import 两个刚下载的包,确认下载完成

import torch
import torchvision

print(torch.__version__)
print(torchvision.__version__)

如果import 和输出正常,配置就完成了!输入

ec6703e5352eda5e212a76ca2b2fd0c3.png
quit()

就 ok 了。

2.4 额外情况

国内如果直接用conda 下载,可能会很慢。可以换下载源进行加速。

换源方法可参考下列资料中的Linux 部分:conda换源

conda 下载中常会出现“Solving environment: failed...”的问题,如果正常创建虚拟环境,这位问题应该就是没有问题的,如果还发生,可以再创建一个虚拟环境。

conda 的社群很大,基本上遇到的问题很有可能有人遇到、有人解答,Google会是一个很好的解决办法。


三、Ubuntu深度学习环境配置

安装组合:Anaconda+PyTorch(CPU版)或PyTorch(GPU版)

开源贡献:陈信达,华北电力大学

3.1 Anacond安装

Anaconda 和 Python 版本是对应的,所以需要选择安装对应 Python2.7 版本的还是Python3.7版本或其他版本的,根据自己的需要下载合适的安装包。

下载链接:https://www.anaconda.com/download/#linux

点击下面的64-Bit (x86) Installer (522 MB),下载64位的版本。

00d1ecacebd2912b342c9ecd160b6017.png

下载完后的文件名是:Anaconda3-2020.02-Linux-x86_64.sh。

cd 到 Anaconda3-2020.02-Linux-x86_64.sh所在的目录:

fd7808acb13a0c867101c81bb21ed5e5.png

执行bash Anaconda3-2020.02-Linux-x86_64.sh开始安装:

bash Anaconda3-2020.02-Linux-x86_64.sh

b0675bb4464cedc5383c196b15d20087.png

一直按回车直到如下界面,然后输入yes:

82892e5515c30d39d7e78615c21d6fb7.png

这里直接回车安装到默认路径,或者在>>>后输入自定义路径

64f2a54f2ccb268d0bbb65159715de28.png

等待安装进度条走完,然后出现下面的提示,yes是加入环境变量,no是不加入环境变量,这里我们以输入no为例

7dc35ebac0c07de13b69f33db28643be.png

接下来手动加入环境变量,先cd到~,然后编辑.bashrc文件:sudo vim .bashrc

sudo vim .bashrc

b9ca4515c29dcab33fa62f4e89176abc.png

在最下面添加如下几行(注意.后有空格):

# 区分anaconda python与系统内置python
alias python3="/usr/bin/python3.5"
alias python2="/usr/bin/python2.7"

. /home/cxd/anaconda3/etc/profile.d/conda.sh

然后按esc + : + wq!保存

5495384f9af3c721f509c0767777a362.png

输入source .bashrc来执行刚修改的初始化文档

c605f838f5c895840d6dbd00504f5569.png

下面输入conda env list来试试环境变量是否设置成功:

4a98098720fb90652bc33deec8df1427.png

试试刚刚设置的使用内置python的命令:python2、python3

06cc0c09d247f1e1d15d6ecc2d8a7159.png

如果到这就结束的话,大家安装包的时候肯定会无比煎熬~这里需要将anaconda换一下源(加入清华源):

4a093350eec0b4c77ef7a5034befdd92.png

然后我们创建一个名为pytorch的虚拟环境,发现报了下面的错误:

14b21ddcaae329c72e5bceac3da6af32.png

原因是我们没有清除上次安装留下来的源,输入sudo vim .condarc,修改该文件的内容(记得删除default那行):

6157e5d8e177c1e2bddfec869120a9e1.png

然后输入source .condarc,再次创建虚拟环境:

53eeed2e4ddb28a5736f90400d46dcb6.png

3.2 pytorch cpu版本安装

打开pytorch官网:https://pytorch.org/

7a8e66fda3470b8e496d928389ace96f.png

激活刚刚创建的虚拟环境:conda activate pytorch 在安装之前先添加下面这个(清华)源:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch

然后输入下面代码:

conda install pytorch torchvision cpuonly -c pytorch

3c9521554b3587b70ee152335890ec18.png

等到安装好后测试一下是否安装完成:

import torch
print(torch.__version__)

输出如下则安装成功:

02e77d362ed612f07e0b20c9971fdac8.png

3.3 pytorch-gpu安装

3.3.1 GPU驱动安装

  • 检测显卡类型

执行命令:' ubuntu-drivers devices'

== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==
modalias : pci:v000010DEd00001C8Dsv00001028sd0000086Fbc03sc02i00
vendor   : NVIDIA Corporation
model    : GP107M [GeForce GTX 1050 Mobile]
driver   : nvidia-driver-390 - distro non-free
driver   : nvidia-driver-435 - distro non-free
driver   : nvidia-driver-440 - distro non-free recommended
driver   : xserver-xorg-video-nouveau - distro free builtin

== /sys/devices/pci0000:00/0000:00:14.3 ==
modalias : pci:v00008086d0000A370sv00008086sd000042A4bc02sc80i00
vendor   : Intel Corporation
model    : Wireless-AC 9560 [Jefferson Peak]
manual_install: True
driver   : backport-iwlwifi-dkms - distro free

大家可以看到,这里有个设备是GTX1050。推荐安装驱动是440。

  • 安装驱动

安装所有推荐驱动

sudo ubuntu-drivers autoinstall

安装一个驱动

sudo apt install nvidia-440

3.3.2 安装cuda

cuda安装需要对应合适的显卡驱动。下面是驱动和cuda的版本对应关系

Table 1. CUDA Toolkit and Compatible Driver Versions
CUDA Toolkit    Linux x86_64 Driver Version Windows x86_64 Driver Version
CUDA 10.2.89    >= 440.33   >= 441.22
CUDA 10.1 (10.1.105 general release, and updates)   >= 418.39   >= 418.96
CUDA 10.0.130   >= 410.48   >= 411.31
CUDA 9.2 (9.2.148 Update 1) >= 396.37   >= 398.26
CUDA 9.2 (9.2.88)   >= 396.26   >= 397.44
CUDA 9.1 (9.1.85)   >= 390.46   >= 391.29
CUDA 9.0 (9.0.76)   >= 384.81   >= 385.54
CUDA 8.0 (8.0.61 GA2)   >= 375.26   >= 376.51
CUDA 8.0 (8.0.44)   >= 367.48   >= 369.30
CUDA 7.5 (7.5.16)   >= 352.31   >= 353.66
CUDA 7.0 (7.0.28)   >= 346.46   >= 347.62

cuda下载链接:http://suo.im/6dY8rL

Installer Type选择第一第二个都可。但是要在获得cuda文件后先检测gcc版本。下面以第一个runfile(local)安装方式为例。

  • 安装gcc

linux一般会自带了gcc,我们先检测一下自己系统的gcc版本

gcc --version

而cuda的gcc依赖版本在官方文档的安装指南上会给出

1115ea3a7a49acb10bb24c875218f735.png

3ab1da592ace6690a402a8d8701b0576.png

如果版本和 cuda 依赖 gcc 不对应,就安装 cuda 需要的版本

sudo apt-get install gcc-7.0
sudo apt-get install g++-7.0

安装完成后需要更换系统gcc版本

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 50
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-7 50

选择需要的版本

sudo update-alternatives --config gcc

  选择       路径          优先级  状态
------------------------------------------------------------
* 0            /usr/bin/gcc-9   50        自动模式
  1            /usr/bin/g++-9   50        手动模式
  2            /usr/bin/gcc-7   50        手动模式

输入前面显示的编号即可。

  • 安装cuda
sudo sh cuda_你的版本_linux.run
  • 配置环境变量
sudo vim ~/.bashrc

将下面的命令复制进去

export PATH=/usr/local/cuda-10.2/bin${PATH:+:$PATH}}    
export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

检查是否安装成功

nvcc -V

3.3.3 安装cudnn

https://developer.nvidia.com/cudnn 选择对应cuda的版本即可

7f733e0620aa0d93e4afe5ab5c38c1d9.png

然后将 cudnn 解压后的 include 和 lib64 文件夹复制到 cuda 中

sudo cp cuda/include/cudnn.h    /usr/local/cuda-10.2/include    #解压后的文件夹名字为cuda-10.2  
sudo cp cuda/lib64/libcudnn*    /usr/local/cuda-10.2/lib64
sudo chmod a+r /usr/local/cuda-10.2/include/cudnn.h   /usr/local/cuda-10.2/lib64/libcudnn

3.3.4 安装pytorch-gpu

c27749918ba817efba67c6236d9ed28f.png

conda 安装:

# 选择自己对应的cuda版本
conda install pytorch torchvision cudatoolkit=10.2

pip 安装:

pip install torch torchvision -i  https://pypi.mirrors.ustc.edu.cn/simple

四、写在最后

所有的深度学习环境安装指南到这里就结束了,希望能解决你面临的环境配置难题。 (๑•ᴗ•๑)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值