Pytorch入门——概述

本来一直用tensorflow做深度学习，最近在莫烦python中看到了Pytorch的教程，同时在知乎上看到了讨论Pytorch的帖子，就跟着教程结合Pytorch官方提供的教程学习Pytorch。

1.Pytorch简介

Pytorch是Facebook 的 AI 研究团队发布了一个 Python 工具包，专门针对 GPU 加速的深度神经网络（DNN）编程。Torch 是一个经典的对多维矩阵数据进行操作的张量（tensor ）库，在机器学习和其他数学密集型应用有广泛应用。但由于Torch语言采用 Lua，导致在国内一直很小众，并逐渐被支持 Python 的 Tensorflow 抢走用户。作为经典机器学习库 Torch 的端口，PyTorch 为 Python 语言使用者提供了舒适的写代码选择。

2.Pytorch特点及优势

2.1 Pytorch特点

• PyTorch 提供了运行在 GPU/CPU 之上、基础的张量操作库;
• 可以内置的神经网络库；
• 提供模型训练功能；
• 支持共享内存的多进程并发（multiprocessing ）库等；

2.2 Pytorch特点

• 处于机器学习第一大语言 Python 的生态圈之中，使得开发者能使用广大的 Python 库和软件；如 NumPy、SciPy 和 Cython（为了速度把 Python 编译成 C 语言）；
• （最大优势）改进现有的神经网络，提供了更快速的方法——不需要从头重新构建整个网络，这是由于 PyTorch 采用了动态计算图（dynamic computational graph）结构，而不是大多数开源框架（TensorFlow、Caffe、CNTK、Theano 等）采用的静态计算图；
• 提供工具包，如torch 、torch.nn、torch.optim等；

3.Pytorch常用工具包

• torch ：类似 NumPy 的张量库，强 GPU 支持 ；
• torch.autograd ：基于 tape 的自动区别库，支持 torch 之中的所有可区分张量运行；
• torch.nn ：为最大化灵活性未涉及、与 autograd 深度整合的神经网络库；
• torch.optim：与 torch.nn 一起使用的优化包，包含 SGD、RMSProp、LBFGS、Adam 等标准优化方式；
• torch.multiprocessing： python 多进程并发，进程之间 torch Tensors 的内存共享；
• torch.utils：数据载入器。具有训练器和其他便利功能；
• torch.legacy(.nn/.optim) ：处于向后兼容性考虑，从 Torch 移植来的 legacy 代码；

4.Pytorch与tensorflow
上面也将了PyTorch 最大优势是建立的神经网络是动态的, 对比静态的 Tensorflow, 它能更有效地处理一些问题, 比如说 RNN 变化时间长度的输出。各有各的优势和劣势。两者都是大公司发布的, Tensorflow（Google）宣称在分布式训练上下了很大的功夫, 那就默认 Tensorflow 在分布式训练上要超出 Pytorch（Facebook），还有tensorboard可视化工具, 但是 Tensorflow 的静态计算图使得在 RNN 上有一点点被动 (虽然它用其他途径解决了), 不过用 PyTorch 的时候, 会对这种动态的 RNN 有更好的理解。而且 Tensorflow 的高度工业化, 它的底层代码很难看懂， Pytorch 好那么一点点, 如果深入 PytorchAPI, 至少能比看 Tensorflow 多看懂一点点 Pytorch 的底层在干啥。