开发环境配置
这里记录一下自己在入门深度学习过程中遇到的问题,希望能够对大家有所帮助,一起进步!
一、Anaconda简介
Anaconda是一个用于科学计算的 Python 发行版,支持Linux、Mac、Windows操作系统。包含conda、Python等190多个科学包及其依赖项。它便于获取和管理包,包括python和许多常用软件库(如numpy、pandas等)以及包管理器conda。它使安装比常规python安装容易,并对环境进行统一管理。官网:
为什么我们要用anaconda?
好问题,刚开始入门的时候不明白这个软件是干什么用的,存在许多疑惑。其实说白了,我们用这个软件,主要是看重了它能创建一个单独的、互不影响的虚拟空间,以便我们在不同的虚拟空间执行不同的工作。除此之外,它有以下优点:
1、安装好anaconda之后,直接就有了一个python环境,所以不必在单独从python官网安装python(如果你的电脑上已经安装有python了,建议卸载之后再安装anaconda,以免两者冲突产生一些难以预料的问题)
2、具有包管理器conda以及其他一些常用库。我们可以使用命令:conda install {包名} 来安装所需要的包。通俗理解上,可以将conda/pip理解为一个应用商店,可以通过该应用商店下载所需的包。
3、虚拟环境。平时科研学习中做的不同项目要求的环境可能不一样,比如某一个工程Project_1所需的环境为:pytorch1.10版本,python3.8版本;而同时我可能又在做另外一个项目Project_2,所需的环境为:pytorch1.4版本,python3.6版本。所以不同工程所需环境不同,我们无法让电脑同时拥有这两种环境(当然,也可以先配置一个,然后做另外一个项目的时候再把电脑上的卸载了重新配置,不过这样非常麻烦,效率也很低,非常不建议),所以我们就需要anaconda。anaconda能够为每一个项目创建一个独特的虚拟环境,各个环境之间互不影响。举个例子,anaconda就像每一个工程安排进不同的房间,每个房间都可根据需要进行配置,且互不影响。
二、判断是否有NVIDIA(英伟达显卡)
任务管理器中查看即可,看到左上角有英伟达显卡GTX 1660 Ti
三、下载安装Anaconda
注意:不用单独下载pythonIDE
官网上下载官网最新版:Download Now | Anaconda
也可下载官网历史版本:Index of / (anaconda.com)
也可下载国内清华镜像源安装包:Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
安装路径最好全英文,初学者建议默认安装格式和路径,以免后续出现问题。安装时建议勾选下列选项,其他默认即可。
对于长期学习深度学习的同学来说,最好自定义安装路径,以免后期数据量大了之后占满C盘。
这里我选择的安装路径为:D:\SoftWare\Anaconda
如何确认anaconda是否安装好?
打开电脑开始界面,看到有如下几个选项就证明安装好了。
同时打开Anaconda Prompt也可看到如下界面:
环境变量设置
计算机(右键)→属性→高级系统设置→(点击)环境变量
点击环境变量——选中下方系统变量中的Path选项——再点编辑
往下方中新建路径如下(一共五条),这里要注意的是,每个人安装的路径不同,需要根据自己的安装路径来修改。只需要将后面的
只需要根据自己的路径把后面的几项加入就行,这里我的是这样。
修改完之后记得点确定保存,一路确定就好了。
四、利用Anaconda创建虚拟环境
在anaconda终端base环境中输入:(** 注意:这里创建的虚拟环境会默认在C盘,非常不建议这样创建。下面会介绍另外一种创建方法 **)
conda create -n {环境名} python=3.8
此处我创建的环境名称为==pytorchweiyang
==:
conda create -n pytorchweiyang python=3.8
这样就可以创建好虚拟环境了。创建好之后可会看到提示:
conda activate pytorchweiyang #可以输入该命令进入pytorchweiyang虚拟环境
conda deactivate #输入该指令退出pytorchweiyang虚拟环境
看到这个提示这里呢就证明虚拟环境创建好了。
除此之外,有些电脑下载可能非常缓慢,此时可以添加镜像加速:
conda creat -n {虚拟环境名字} {python版本} -c {镜像地址}
常用的清华镜像源地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
另外一种创建到指定路径的方法:
利用命令:
conda create --prefix D:\SoftWare\Anaconda\envs\pytorchweiyang python=3.8
这里我将虚拟环境创建在这个路径下的envs里面,我的虚拟环境名字叫做pytorchweiyang,避免默认创建在C盘中,后续操作相同。
固定添加镜像源
由于这样每次创建环境时都需要手动在后面添加镜像源,比较麻烦。因为Anaconda的下载源默认在国外,如果不配置我们国内源的话,下载速度会慢到你怀疑人生的。而且很多时候会导致网络错误而下载失败。此时我们也可以添加镜像源到下载默认选项:
国内常用镜像源
清华大学(推荐) https://pypi.tuna.tsinghua.edu.cn/simple
阿里云 http://mirrors.aliyun.com/pypi/simple
豆瓣 http://pypi.douban.com/simple/
打开Anaconda Prompt,执行以下命令,将清华镜像配置持久添加到Anaconda中:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/win-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/noarch
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/noarch
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/win-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/noarch
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/noarch
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/win-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/noarch
然后我们输入conda info
命令查看当前的channel
,查看是否配置成功:
删除刚才配置的通道:
conda config –remove channels {通道地址}
删除虚拟环境
使用以下命令,可以删除指定环境(谨慎操作)
conda remove -n 环境名 --all
使用以下命令,可以删除当前环境的包
conda remove 包名称
使用以下命令,卸载指定环境中的包
conda remove -n 环境名 包名称
五、GPU与CUDA准备工作
5.1 首先确定自己显卡的算力
wiki上关于CUDA的介绍(显卡算力查询)_cuda wiki-CSDN博客
5.2 确定自己的可选择CUDA Runtime Version版本
根据算力范围找出可选择的版本:
找出支持自己显卡对应的Compuer capability(version)的CUDA版本,比如我的显卡是GTX1660Ti,Compuer capability(version)为7.5,支持我的CUDA有下面两个:CUDA SDK10.0-10.2;CUDA SDK11.0
5.3 确保自己的CUD Driver版本 >=CUDA Runtime 版本
在anaconda终端base环境中输入下列命令查看CUDA Driver Version版本:
nvidia-smi
CUDA Version为11.6,大于前面的runtime版本。但是我想安装最新版的CUDA,所以这里我选择先从官网安装显卡驱动最新版本,进入网址下载 NVIDIA 官方驱动 | NVIDIA
输入自己显卡的型号参数,下载相应驱动即可(笔记本电脑选择后面带有notebooks的选项)
现在在终端中重新输入就会看到CUDA Version的版本变高了。
nvidia-smi
5.4、打开pytorch官网,确定CUDA Runtime版本
打开pytorch官网:Start Locally | PyTorch
根据自己电脑选择下列选项:
这里我选择CUDA12.4版本,尽量安装最新的,只需要保证这个版本比终端中显示的版本小即可。(算力方面,一般新版本都是支持的)
六、 安装Pytorch和CUDA
注意:首先进入pytorchweiyang虚拟环境,在虚拟环境中安装pytorch和对应的cuda
在pytorch官网上复制对应版本的命令,在虚拟环境中运行,则开始下载安装。如下所示
复制上面框中的命令,在虚拟环境中运行:
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia
这里也可以换源安装,速度更快一些。但是不建议,因为换源后有些东西可能会安装失败。
七、 验证pytorch和CUDA是否安装成功
1、激活对于虚拟环境
2、输入conda list ,看看有没有pytorch或者torch
3、在终端中输入以下命令
python
import torch
torch.cuda.is_available()
如果显示True,就说明pytorch安装成功了。
八、pycharm安装与环境配置
pycharm的安装直接从官网上下载安装即可,安装路径自选。这里主要说以下pycharm的环境配置
1、打开pycharm创建一个工程first_demo
2、在左上角file——》settings——》Project:first_demo——》python Interpreter中选择虚拟环境pytorchweiyang
3、如果找不到创建的虚拟环境,则点击旁边的Add Local interpreter中选择自己的虚拟环境,
路径选择参考:“D:\SoftWare\Anaconda\envs\pytorchweiyang\python.exe”
多试一下很容易就熟悉了。
配置好环境之后就可以开启我们的学习之旅了。
这里还有疑问的小伙伴,推荐去看小土堆的视频讲解,我愿称之为宇宙最强,对新手非常友好。
最详细的 Windows 下 PyTorch 入门深度学习环境安装与配置 CPU GPU 版 | 土堆教程_哔哩哔哩_bilibili
祝愿大家能够学有所成,大家一起努力,共同成长。