图像去雾毕业论文准备17-深度学习框架（pytorch）——超级详细（3个小时看完一本书（关键部分））

图像去雾毕业论文准备17-深度学习框架（pytorch）——超级详细（3个小时看完一本书（关键部分））

书籍《深度学习框架PyTorch入门与实践》陈云·著

书籍有配套的代码，大家可以在github下载，进行演练操作，今天下午（2021年1月8日）用3个小时快速过一遍（自己论文需要的），晚上开始系统学习卷积神经网络，后面开始搜代码进行论文复现。

好啦，配置环境的事情前面都已经交代过，就不在罗列了，根据自己电脑的情况，下载安装必要的库！

Tensor

Tensor是PyTorch中重要的数据结构，可认为是一个高维数组。它可以是一个数（标量）、一维数组（向量）、二维数组（矩阵）以及更高维的数组。Tensor和Numpy的ndarrays类似，但Tensor可以使用GPU进行加速。Tensor的使用和Numpy及Matlab的接口十分相似，下面通过几个例子来看看Tensor的基本使用。

 from __future__ import print_function
import torch as t
t.__version__

# 构建 5x3 矩阵，只是分配了空间，未初始化
x = t.Tensor(5, 3)

x = t.Tensor([[1,2],[3,4]])
x

x = torch.Tensor(5,3)
x = torch.Tensor([[1,2],[3,4]])
x

# 新建一个全是1的tensor
a = torch.ones(5)
a

从tensor到numpy

b = a.numpy()#tensor->numpy
type(b)

从numpy到tensor

import numpy as np 
a = np.ones(5)
b = torch.from_numpy(a)
b

注:tensor和numpy之间共有内存，所有他们之间转换很快，而且几乎不会消耗资源。也就意味着只要其中一个改变了，另一个也随之改变。

scalar.item() # 使用scalar.item()能从中取出python对象的数值

需要注意的是，t.tensor()或者tensor.clone()总是会进行数据拷贝，新tensor和原来的数据不再共享内存。所以如果你想共享内存的话，建议使用torch.from_numpy()或者tensor.detach()来新建一个tensor, 二者共享内存。

这里需要使用cuda才可实现，我的没有，前面已经提到过（后面打算用云端服务器进行实现）

if torch.is_avai;able(0):
    x = x.cuda()
    y = y.cuda()
    z = x + y 
# tensor可通过.cuda方法转为GPU的Tensor，从而享受GPU带来的加速运算
# 在不支持CUDA的机器上，上面的是不会运行的
"""
在这里会发现GPU运算的速度并未提升太多，这是因为x和y太小且运算也较简单，而且将数据从内存转移到显卡还需要话费额外的开销。
GPU的有时需要在大规模数据和复杂运算下才能体现出来
"""

autograd: 自动微分

深度学习的算法本质上是通过反向传播求导数，而PyTorch的**autograd**模块则实现了此功能。在Tensor上的所有操作，autograd都能为它们自动提供微分，避免了手动计算导数的复杂过程。

要想使得Tensor使用autograd功能，只需要设置tensor.requries_grad=True.

import torch
x = torch.ones(2,2,requires_grad = True) # pytorch会自动调用autograd 记录操作
x

tensor([[1., 1.],
[1., 1.]], requires_grad=True)

y =x.sum()
y

tensor(4., grad_fn=)

y.grad_fn # 占用的有内存空间

<SumBackward0 at 0x1852fc17588>

y.backward()
x.grad

注意：grad在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以反向传播之前需把梯度清零。

x.grad.data.zero_()
# 此代码会修改自身的值，类似add_

神经网络

Autograd实现了反向传播功能，但是直接用来写深度学习的代码在很多情况下还是稍显复杂，torch.nn是专门为神经网络设计的模块化接口。nn构建于 Autograd之上，可用来定义和运行神经网络。nn.Module是nn中最重要的类，可把它看成是一个网络的封装，包含网络各层定义以及forward方法，调用forward(input)方法，可返回前向传播的结果。下面就以最早的卷积神经网络：LeNet为例，来看看如何用nn.Module实现。LeNet的网络结构如图2-7所示。