PyTorch简介及环境搭建

🔔本文主要包含PyTorch的基本介绍,以及安装方法。


前言

当前,人工智能正越来越火爆。特别是在AlphaGo击败围棋世界冠军后,人工智能逐渐进入大众视野,并得到了飞速的发展。
目前深度学习是人工智能的主流,这也代表随着人们的研究,人工智能走下了“神坛”,开始被运用在各个领域,如医学等。基于此,很多公司推出了各种形式的深度学习框架。
PyTorchTensorflow是目前最火的两个深度学习框架,两者在不同方面也有各自的优势。本文主要介绍PyTorch,及其安装。


PyTorch简介

PyTorch是一个基于Torch的Python开源机器学习库,用于自然语言处理等应用程序。它主要由Facebook的人工智能研究小组开发。Uber的"Pyro"也是使用的这个库。

PyTorch作用

PyTorch是一个Python包,提供两个高级功能:

  • 具有强大的GPU加速的张量计算(如NumPy)。
  • 包含自动求导系统的的深度神经网络。

对比PyTorch和Tensorflow

没有好的框架,只有合适的框架,这篇知乎文章有个简单的对比,所以这里就不详细再说了。 并且技术是发展的,知乎上的对比也不是绝对的,比如Tensorflow在1.5版的时候就引入了Eager Execution机制实现了动态图,PyTorch的可视化,windows支持,沿维翻转张量等问题都已经不是问题了。

PyTorch大版本的主要更新

  1. 2018-04-25
    (1) 支持 Windows 系统
    (2) Tensor/Variable 合并,取消Variable

  2. 2018-12-8
    (1) Torch Hub 预训练的模型库
    (2) JIT 编译器
    (3) C++ 前端 (实验性)
    (4) 全新的分布式包torch.distributed和 torch.nn.parallel.DistributedDataParallel

  3. 2019-5-1
    (1) 支持 TensorBoard : from torch.utils.tensorboard import SummaryWriter
    (2) 不再支持CUDA 8.0
    (3) TORCHVISION 0.3

  4. 2019-8-9
    (1) 官方实现标准的 nn.Transformer 模块
    (2) CUDA 9.2 +
    (3) TORCHVISION 0.4
    (4) D API(Domain API):torchvision、torchtext 和 torchaudio

  5. 2019-10-11
    (1) 命名张量(实验性) named tensor
    (2) 量化支持 用 eager 模式进行 8 位模型量化
    (3) 谷歌云 TPU
    (4) PyTorch Mobile 移动端 从 Python 到部署在 iOS 和安卓端

  6. 2020-1-16
    (1) optim.lr_scheduler 持「链式更新(chaining)」。即可以定义两个 schedulers,并交替在训练中使用。
    (2) Java bindings(实验性) Java bindings 从任何 Java 程序中调用 TorchScript 模型,只支持linux
    (3) 分布式模型并行训练RPC (实验性)

  7. 2020-4-21
    (1) C++ 前端 API(稳定型)
    (2) 分布式 RPC 框架 API(稳定型)
    (3) 不再支持 Python 2
    (4) TORCHVISION 0.6

  8. 2020-7-29
    (1) 官方 自动混合精度(AMP)训练 torch.amp,不需要nv的apex
    (2) torch.autograd.profiler 内存分析器 (测试版)
    (3) 不支持python 3.5 以前版本
    (4) TORCHVISION 0.7
    (5) TORCHAUDIO 0.6
    (6) Pytorch1.6版本开始,PyTorch 的特性将分为 Stable(稳定版)、Beta(测试版)和 Prototype(原型版)

  9. 2020-10-29
    (1) 支持CUDA 11:CUDA 9.2 - 11
    (2) 通过 torch.fft 支持 NumPy 兼容的 FFT 操作(测试版)
    (3) Windows 系统上的分布式训练:DistributedDataParallel和集合通信提供了原型支持(原型版)
    (4) 支持Nvidia A100的 原生TF32格式
    (5) PyTorch Mobile支持iOS和Android,CocoaPods和JCenter,并分别提供了二进制软件包
    (6) TORCHVISION 0.8

  10. 2021-03-05
    (1) 支持一部分的AMD GPU(测试版)
    (2) Complex Autograd (测试版)
    (3) 提高 NCCL 稳定性,包括异步错误/超时处理,RPC 分析
    (4) torch.fft 已经更新为(稳定版),也就是可以在生产环境中使用了
    (5) 新增torch.linalg,为常见的线性代数运算提供与 NumPy 类似的支持(测试版)
    (6) torch.fx (测试版)可以进行 Python 代码转换
    (7) pipeline 并行化(测试版)可将 pipeline 并行化作为训练 loop 的一部分

  11. 2021-06-16
    (1) torch.linalg,Complex Autograd 已经更新为(稳定版)
    (2) torch.norm 已经弃用了,需要使用 torch.linalg.norm
    (3) TorchVision库已经可以在IOS/Android上使用
    (4) PyTorch Profiler(测试版): 利用Kineto进行GPU分析,TensorBoard 进行可视化,PyTorch使用教程和文档都已经完善
    (5) TorchVision 0.10:添加了新的SSD和SSDLite模型
    (6) TorchAudio 0.9.0:可在非Python 环境(包括C++、Android和iOS)中部署的wav2vec 2.0模型
    (7) TorchText 0.10.0:添加了一个新的高性能Vocab模块

  12. 2021-10-22
    (1) 支持Android NNAPI (测试版)
    (2) torch.fx 已经变为稳定版,也就是说可以在生产上用了
    (3) torch.special、nn.Module 参数化(稳定版)
    (4) 分布式训练的Remote Module、DDP Communication Hook、ZeroRedundancyOptimizer也都变为稳定版

PyTorch总结

  • PyTorch算是相当简洁优雅且高效快速的框架。
  • 设计追求最少的封装,尽量避免重复造轮子。
  • 算是所有的框架中面向对象设计的最优雅的一个,设计最符合人们的思维,它让用户尽可能地专注于实现自己的想法。
  • 大佬支持,与google的Tensorflow类似,FAIR的支持足以确保PyTorch获得持续的开发更新。
  • 不错的的文档(相比FB的其他项目,PyTorch的文档简直算是完善了,参考Thrift),PyTorch作者亲自维护的论坛供用户交流和求教问题。
  • 入门简单。

PyTorch环境搭建

PyTorch的安装十分简单,根据PyTorch官网,对系统选择和安装方式等灵活选择即可。这里以anaconda为例,简单的说一下步骤和要点。 国内安装anaconda建议使用清华镜像。

安装PyTorch

PyTorch是Python的一个库,可以直接使用pip进行安装,经过测试 pip是没有任何问题的。

PyTorch可以根据个人需要安装cpu版或gpu版:
1.cpu版安装
如果没有gpu资源,只需要下载cpu版本的话,可以打开命令提示符,输入以下命令:

pip install torch==1.5.1+cpu torchvision==0.6.1+cpu -f https://download.pytorch.org/whl/torch_stable.html

2.gpu版安装
gpu版本需要先配置cuda资源,cuda的配置不在这里做过多的介绍。
gpu版安装命令如下:

pip3 install torch===1.5.1 torchvision===0.6.1 -f https://download.pytorch.org/whl/torch_stable.html

在1.2版本以后,pytorch只支持cuda 9.2以上了,所以需要对cuda进行升级,目前测试大部分显卡都可以用,包括笔记本的MX250也是可以顺利升级到cuda 10.1。

验证安装

打开python输入:

import torch
torch.__version__
# 得到结果'1.5.0'

配置 Jupyter Notebook

新建的环境是没有安装 ipykernel 的, 所以无法注册到Jupyter Notebook中,先要准备下环境。
在命令提示符中输入以下两条命令:

#安装ipykernel
conda install ipykernel
#写入环境
python -m ipykernel install  --name pytorch --display-name "Pytorch for Deeplearning"

下一步就是定制 Jupyter Notebook。输入以下两条命令:

#切换回基础环境
activate base
#创建jupyter notebook配置文件
jupyter notebook --generate-config
## 这里会显示创建jupyter_notebook_config.py的具体位置

打开jupyter_notebook_config.py文件,修改数字:

c.NotebookApp.notebook_dir = '' 默认目录位置
c.NotebookApp.iopub_data_rate_limit = 100000000 这个改大一些否则有可能报错

🔔如果是用pycharm打开的话,可以使用 ctrl+f 快速查找以上位置。

测试配置

至此 Pytorch 的开发环境安装完成,可以在开始菜单中打开Jupyter Notebook 在New 菜单中创建文件时选择Pytorch for Deeplearning 创建PyTorch的相关开发环境了。

问题解决

问题1:启动python提示编码错误
解决方法:删除 .python_history
问题2:默认目录设置不起效
打开快捷方式,看看快捷方式是否跟这个截图一样,如果是则删除 %USERPROFILE% 改参数会覆盖掉notebook_dir设置,导致配置不起效。
在这里插入图片描述


如果没有问题,那么恭喜你,PyTorch已经安装成功!

🔔本文主要参考PyTorch中文手册,如果想了解更多PyTorch内容,可以参考以下链接:
https://handbook.pytorch.wiki/index.html

  • 2
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吮指原味鸡!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值