Win10/11机器学习环境搭建—python、pycharm、anaconda、pytorch_gpu、tensorflow_gpu、Jupyter Notebook

已于 2022-12-01 10:16:23 修改
阅读量6.4k 收藏 82
点赞数 8
分类专栏： 软件安装及操作 文章标签： pytorch pycharm
于 2022-04-19 15:35:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39751352/article/details/124268937
版权

目录

Python-Anaconda- CUDA-cudnn-Torch- Tensorflow-显卡驱动-版本对应关系

Anaconda下载、安装和运行

【问题】'conda' 不是内部或外部命令,也不是可运行的程序或批处理文件

Anaconda常用指令 

Anaconda创建虚拟环境

Anaconda下载源更换为国内源

Anaconda虚拟环境中安装CUDA

【问题】CUDA driver initialization failed

Anaconda安装pytorch_gpu

Anaconda安装tensorflow_gpu

Jupyter notebook中添加虚拟环境

修改Jupyter Notebook默认的工作目录 

指定文件夹打开Jupyter Notebook

pycharm下载安装

pycharm创建工程

pycharm给项目添加虚拟环境

pycharm安装新模块

【问题】pycharm无法导入本地模块

我的W10电脑软件版本：
        Python 3.7.0
        pycharm 2020.1
        anaconda3_5.3.0_4.5.11
        pytorch环境：python3.7，Torchvision0.12.0，pytorch1.11.0，CUDA 11.3，cudnn 8.2.1，

我的W11电脑软件版本：
        Python 3.7.1
        pycharm 2020.1.3
        anaconda3_5.3.0_4.5.11
        pytorch环境：python3.7，Torchvision0.12.0，pytorch-gpu1.11.0，CUDA 11.3，cudnn 8.2.1，
        tensorflow环境：python3.7，tensorflow-gpu2.6.0，CUDA 11.2，cudnn 8.1，

Python-Anaconda- CUDA-cudnn-Torch- Tensorflow-显卡驱动-版本对应关系

Anaconda & python 版本对应关系

CUDA & 显卡驱动 版本对应关系

（尤其对于早些年的电脑虚拟环境安装的CUDA版本过高，但显卡驱动不够高级）

CUDA & torch 版本对应关系（安装pytorch时指定CUDA版本）

https://img-blog.csdnimg.cn/418aba5ca5684528aca6b43de3b2e224.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBATG9uZWx5IFBsYW5ldC4=,size_11,color_FFFFFF,t_70,g_se,x_16

pytorch & torchvision & Python 版本对应关系

https://img-blog.csdnimg.cn/e43f9ff4d1c04e249496ca38ebc2010f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBATG9uZWx5IFBsYW5ldC4=,size_12,color_FFFFFF,t_70,g_se,x_16

Tensorflow_gpu & python & CUDA & cudnn 版本对应关系

Anaconda下载、安装和运行

【Anaconda安装教程】Anaconda安装教程

【Anaconda官方下载地址】Index of /

【Anaconda镜像下载地址】清华大学开源软件镜像站

注意版本对应关系，我安装的python3.7，对应anaconda3-5.3.0anaconda & python 版本关系

关键安装步骤：

  

【问题】'conda' 不是内部或外部命令,也不是可运行的程序或批处理文件

【原因】：环境变量没有添加或者少添加造成的

【解决办法】

W10：我的电脑→右键属性→高级系统设置→环境变量→系统变量→Path→双击进入→新建→浏览→找到Anaconda和Scripts的路径添加，然后点击确定就好了。

W11：打开运行【Win+R】，输入【sysdm.cpl】，回车。

添加好环境变量后查看conda版本

Anaconda常用指令 

创建虚拟环境        conda create -n xxx python=3.7
激活虚拟环境        conda activate xxx
查看所有环境        conda info --env
查看安装的包        conda list
退出虚拟环境        conda deactivate
删除虚拟环境        conda remove -n xxx --all
更新所有库            conda update --all
更新conda自身      conda update conda

anaconda换源：
制定清华的源：
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
显示源地址：       conda config --set show_channel_urls yes

安装第三方包：    pip install xxx
                             conda install xxx

更新第三方包：    pip install --upgrade xxx
                             conda update xxx

删除第三方包：    pip uninstall xxx
                             conda uninstall xxx

如果安装的时候是用pip安装的，那么删除的时候也要用pip。 同理，用conda安装的要用conda指令来删除。

Anaconda创建虚拟环境

1、打开Anaconda Prompt

2、创建虚拟环境，命名为taidi

输入：conda create -n XXX python=3.7（xxx为自定义环境名字、3.7为Python版本）

3、激活虚拟环境 activate taidi

4、anaconda虚拟环境安装新模块

在该虚拟环境中输入” conda install xxx”（xxx为需要安装的模块）

Anaconda下载源更换为国内源

没有.condarc文件输入以下命令

conda config --set show_channel_urls yes

【法一】手动修改anaconda下载源的配置文件

anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

用记事本打开.condarc文件" C:\Users\用户名\.condarc"，将框中所有代码复制到.condarc文件中

【法二】使用anaconda添加下载源的命令来进行相应的下载源的添加。

打开anaconda输入以下命令（我的W11用http://开头）

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/
conda config --set show_channel_urls yes

【国内可用的anaconda下载源】opencv_fjc的博客

阿里云                     http://mirrors.aliyun.com/pypi/simple/
中国科技大学          https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣(douban)          http://pypi.douban.com/simple/
清华大学                 https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学   http://pypi.mirrors.ustc.edu.cn/simple/

【问题】W11一打开anaconda弹出错误报告ERROR REPORT，删除添加的源用默认即可。

【注意】
1、2022.6.27-W11清华源中没有pytorch的GPU版本，用科大源，或者默认。
2、安装过一个台式机镜像链接后要补充完整win-64/
3、有时需要删除.condarc文件中的 - defaults
4、安装matplotlib包下载慢，换成清华源就好了
        pip install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib

Anaconda虚拟环境中安装CUDA

Anaconda虚拟环境中安装CUDA

如何查看cuda的版本？

当我们运行不同的代码时，可能会用到不同版本的Pytorch/Tensorflow，不同版本的Pytorch/Tensorflow在使用GPU时，对应不同的CUDA版本，这时候就需要安装不同的CUDA版本。
在系统中安装多个版本的CUDA，比较麻烦，这时候就可以在虚拟环境里面直接安装CUDA。 

  1. 创建虚拟环境：conda create -n XXX python=3.X
  2. 激活虚拟环境：source activate XXX
  3. 安装Pytorch/Tensorflow的GPU版本
  4. 验证是否安装成功（在安装pytorch/ Tensorflow后验证）

注意： Python版本要和CUDA版本相对应
# 安装CUDA和cudn

conda install cudatoolkit=11.3     # 指定版本CUDA11.3
conda install cudnn=8.2            # 指定版本cudnn8.2，也可不指定版本

指定搜索包的路径，速度会更快
# 安装CUDA

conda install cudatoolkit=11.3 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/win-64/

# 安装cudn

conda install cudnn=8.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ win-64/

安装之后的 CUDA 和 cudnn 会存放在虚拟环境的 lib 文件夹 或者 include 文件夹里面。

【在安装torch_gpu或tensorflow_gpu后验证CUDA是否安装成功】
# Pytorch

import torch
print(torch.cuda.is_available())

# Tensorflow

import tensorflow as tf
print(tf.test.is_gpu_available())

CondaHTTPError: HTTP 000 CONNECTION FAILED for url 
【解决办法】https://blog.csdn.net/qq_35831906/article/details/124189786

【问题】CUDA driver initialization failed

安装好CUDA和cudnn后提示错误，无法使用

这里需要注意CUDA需要对应合适版本的显卡驱动，我的CUDA=11.3，那么我的显卡驱动版本就要>=452.39

【查看显卡驱动版本】

方案一：在cmd下使用nvidia-smi命令，如图
Windows NVIDIA Corporation下没有NVSMI文件夹解决方法

方案二：直接打开NVIDIA控制面板查看

查看到我的显卡驱动版本过低，这时需要升级驱动
window10系统英伟达NVIDIA显卡驱动和CUDA软件的安装和升级

升级驱动版本到457.51

然后验证CUDA是否可以正常使用

import torch
print(torch.cuda.is_available)

Anaconda安装pytorch_gpu

注：需要先安装pytorch对应版本的CUDA

【pytorch安装视频教程】pytorch安装视频教程

【pytorch官网】PyTorch

【离线下载包】

https://download.pytorch.org/whl/torch_stable.html
// 然后用 pip install 命令安装
pip install torch-1.11.0+cu113-cp37-cp37m-win_amd64.whl
pip install torchvision-0.12.0+cu113-cp37-cp37m-win_amd64.whl
pip install torchaudio-0.11.0+cu113-cp37-cp37m-win_amd64.whl

1、打开pytorch官网，点击Install
2、选择安装信息，生成安装命令

注意！！！官网给出的安装命令中，-c参数指明了Pytorch安装的下载源，执行该命令的时候，一定要把-c pytorch去掉，更换Anaconda的下载源为国内源。

3、打开Anaconda Prompt
4、创建并激活虚拟环境
        conda create -n pytorch python=3.7
        activate pytorch
5、更换下载源
6、安装CUDA：conda install cudatoolkit=11.3
7、安装cudnn：conda install cudnn=8.2
8、安装pytorch-gpu： conda install pytorch torchvision torchaudio cudatoolkit=11.3
9、测试
        在该虚拟环境中，进入python开发环境，输入
        import torch
        torch.cuda.is_available()
        输出 True

Anaconda安装tensorflow_gpu

【官网安装教程】：https://www.tensorflow.org/install

1、打开Anaconda Prompt
2、创建并激活虚拟环境
        conda create -n tensorflow python=3.7
        activate tensorflow
3、更换下载源
4、安装CUDA：conda install cudatoolkit=11.2
5、安装cudnn：conda install cudnn=8.1
6、安装tensorflow-gpu：
        pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==2.6.0
7、测试
        在该虚拟环境中，进入python开发环境，输入
        import tensorflow as tf
        print(tf.test.is_gpu_available())
        输出 True

Jupyter notebook中添加虚拟环境

需要先在虚拟环境中安装Jupyter Notebook，XXX即虚拟环境名字。
在anaconda命令交互界面下：

  • 1、activate XXX
  • 2、pip install ipykernel ipython
  • 3、ipython kernel install --user --name XXX
  • 4、输入Jupyter Notebook，打开Jupyter Notebook，此时打开的位置是默认文件夹

修改Jupyter Notebook默认的工作目录 

在anaconda命令交互界面下：

  1. 激活虚拟环境输入：jupyter notebook --generate-config
  2. 生产jupyter配置文件，用记事本打开文件，查找“#c.NotebookApp.notebook_dir = ''”，删除#键，在单引号中输入目标地址
  3. 创建用户环境变量如下：JupyterNotebook值自定义
  4. 开始菜单中找到jupyter notebook右键单击选择“更多—打开文件位置”，打开快捷方式图标，快捷方式图标上右击设置起始位置属性值%HOMEPATH%和目标框中%USERPROFILE%替换为创建的用户环境变量%JupyterNotebook%即可。

指定文件夹打开Jupyter Notebook

需要将生产jupyter配置文件复原，按照下面的操作即可。

  • 1、激活虚拟环境
  • 2、定位到指定文件夹
  • 3、输入Jupyter Notebook

pycharm下载安装

pycharm官网下载社区版（免费）：Download PyCharm

参考博主：PyCharm安装教程

关键步骤：

pycharm创建工程

pycharm给项目添加虚拟环境

1、pycharm首页：File => Settings => 你的项目名下的python interpreter => 设置按钮 => add python interpreter

2、在该页面下的Virtualenv Environment（虚拟环境设置界面），有两种设置添加虚拟环境的选项。

New environment => 新建虚拟环境：选择你的项目的根目录和需要的python版本，完成。
Existing environment => 选择现有的虚拟环境。

pycharm安装新模块

1、pycharm首页：File => Settings => 你的项目名下的python interpreter

2、搜索需要安装的模块，点击install pakage

3、安装成功

【问题】pycharm无法导入本地模块

【解决方法】右键点击需要导入的模块当前文件夹所在的上一级目录，将其设置为根目录

chaiky
关注
  • 8
    点赞
  • 踩
  • 82
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习之Python-环境搭建全过程
u010981582的博客
01-23 4610
工欲善其事必先利其器，下面我就机器学习之python环境搭建过程做全面又详细的解说。所有的安装包以及第三方库均可在百度云盘http://pan.baidu.com/disk/home#list/path=%2F%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-Python%E6%90%AD%E5%BB%BA下载 第一步：安装python （1）下载python-2.7.
python3.2对应的机器学习环境相关库
11-06
python3.2对应的机器学习环境相关库，包括,numpy,matplotlib,scipy,scikit-learn,easy_install文件等 http://blog.csdn.net/u013634684/article/details/48289459安装教程
第1章 机器学习环境安装1
08-04
第 1 章 机器学习环境安装1第 1 章 环境配置所谓工欲善其事必先利其器，因此接下来首先需要完成的任务就是将后续所要用到的环境进行安装。总体来说安装过程主要可
机器学习环境搭建教程
11-09
机器学习的TensorFlow环境搭建，很详细的教程奖励，零基础也会搭建
【解决】RuntimeError: CUDA driver initialization failed, you might not have a CUDA gpu.
最新发布
丑小鸭
04-29 1221
【解决】RuntimeError: CUDA driver initialization failed, you might not have a CUDA gpu
Win10下安装Anaconda+CUDA+cudnn+TensorFlow+Keras+PyTorch+Pycharm
qq_22979337的博客
03-12 1972
文章目录从零开始搭建Win10深度学习环境Anaconda配置流程1. 安装Anaconda2. 添加conda镜像3. 添加pip镜像4. 修改Jupyter Notebok的默认工作路径5. 添加Anaconda环境变量6. jupyter中添加conda虚拟环境CUDA和cudnn配置流程1. 查看计算机显卡型号：2. 查看显卡是否支持CUDA版本3. 查看tensorflow版本对应的CU...
深度学习环境配置 Anaconda+Pycharm+CUDA+cuDNN+TensorFlow+PyTorch（保姆级图文教程）
qq_40280673的博客
02-15 5109
最近项目开发，需要安装TensorFlow-gpu和PyTorch，但是装了好久才成功安装在我的电脑上，中途愁死我了。网络上有很多教程，多数都说得不明不白，各种踩坑，一路跌跌撞撞的踩过来，最后终于清楚的知道对于不同机型，该如何正确安装了。我现总结在下面，希望对大家有帮助，少踩坑。此教程虽然较长，但我图文并茂分步骤总结了大家在安装时可能会遇到的各种问题，大家仔细阅读安装，你之所以一直安装不成功，很可能就是中间某一步出错了。
【anaconda+tensorflow-gpu+pycharm （win版）超级全面的安装教程】
ppinkgirll的博客
04-05 2098
通过血战三天三夜，历经七七四十九次回合，我终于把tensorflow-gpu的环境给配置好了，真的是踩坑无数，特此记录。首先，在网上我发现了大概三种安装(anaconda+tensorflow-gpu)的方式，第一种是直接在虚拟环境中安装cuda+cudnn再装tensorflowgpu的，第二种是单独从官网下载安装cuda+cudnn再去虚拟环境装tensorflowgpu的，第三种是不装cuda直接装tensorflow gpu的。
Python 使用各种包 报错ImportError: initialization failed的可能解决方法之一 如import pytorch_lightning等
DonquixoteXXXXX的博客
03-18 3605
Python 使用各种包 报错ImportError: initialization failed的可能解决方法之一 如import pytorch_lightning等
Anacanda+cuda+cudnn+pytorch+jupyter notebook
m0_62452236的博客
09-28 157
本篇文章主要讲解搭建配置深度学习环境，在基于Anacanda+cuda+cudnn+pytorch（GPU）。本文的目的是记录在环境配置中所遇到的所有问题，并给出解决办法。在环境安装之前本机必须安装python环境，并明确当前安装python的版本，只有在python环境下的深度学习框架才能得以成功配置。所需工具：Python集成开发环境：AnacondaCUDA、cuDNN：英伟达提供的针对英伟达显卡的运算平台。
win11系统下Anaconda,PyTorch,cuda 最新安装教程(2022-10-26)
生息万物的博客
10-26 6503
Pytorch 、Anaconda和Cuda的安装
python使用pywinauto库时不能获取到哪些元素的值
weixin_42600128的博客
01-06 685
pywinauto是一个用于自动化 Windows GUI 的库，它可以用来模拟鼠标和键盘操作，以及获取和设置窗口、控件等的属性。如果使用 pywinauto 时无法获取到某些元素的值，可能是由以下几种情况造成的： 窗口或控件不存在。在使用 pywinauto 时，你需要先找到你要操作的窗口或控件，如果找不到这个元素，就无法获取到它的值。 窗口或控件的属性不存在。pywinauto 提供了许多...
Windows下PyCharm配置Anaconda环境(超详细教程)
12-17
首先来明确一下Python、PyCharm和Anaconda的关系 1、Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。 虽然Python3.5自带了一个解释器IDLE用来执行.py脚本，但是却不利于我们书写调试大量的代码。常见的是用Notepade++写完脚本，再用idle来执行，但却不便于调试。这时候就出现了PyCharm等IDE，来帮助我们调试开发。 2、PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外，该IDE提
Anaconda_pytorch_pycharm安装.docx
03-02
Anaconda + PyTorch + PyCharm 安装流程 Anaconda 是一个流行的数据科学平台，提供了多种科学计算和机器学习库，包括 NumPy、SciPy、Matplotlib 等。PyTorch 是一个基于 Python 的深度学习框架，提供了动态计算图...
Pycharm使用Anaconda创建Pytorch虚拟环境
11-07
Pycharm 是一个功能强大的集成开发环境（IDE），而 Anaconda 是一个流行的数据科学平台，Pytorch 是一个基于 Python 的机器学习框架。通过将这三个工具集成在一起，可以创建一个功能强大的机器学习开发环境。 开发...
anaconda，cuda，torch-gpu，tensorflow-gpu，pycharm
04-01
至此，你已经成功地在Windows 10上搭建了一个包含`anaconda`、`cuda`、`cudnn`、`torch-gpu`和`tensorflow-gpu`的深度学习环境，并且可以在`pycharm`中使用这些库。这个环境可以支持GPU加速的机器学习和深度学习任务...
Windows下PyTorch深度学习环境配置（GPU）
07-23
本文将详细介绍Windows下PyTorch深度学习环境配置，包括PyTorch的安装、Python的基础知识、深度学习相关概念、GPU和CUDA的概念、Anaconda和PyCharm的使用等。 一、Python基础知识 Python是一种编程语言，人和...
机器学习7：pytorch的逻辑回归
10-07
一、说明 逻辑回归模型是处理分类问题的最常见机器学习模型之一。二项式逻辑回归只是逻辑回归模型的一种类型。它指的是两个变量的分类，其中概率用于确定二元结果，因此...2.1 win10+pycharm3+anaconda5+ pytorch2.x
（windows）minconda创建conda环境并且下载python和jupyter notebook（2023/2/16）
m0_67042167的博客
02-16 1077
windows里面在minconda中下载python及jupyter
pycharm anaconda pytorch
03-16
PyCharm是一款Python集成开发环境（IDE），可以帮助开发者更高效地编写Python代码。 Anaconda是一个Python发行版，包含了许多常用的Python库和工具，可以帮助开发者更方便地管理Python环境和依赖。 PyTorch是一个基于Python的科学计算库，主要用于机器学习和深度学习领域，提供了丰富的工具和算法，可以帮助开发者更快速地构建和训练神经网络模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值