Pytorch框架的学习（4）

目录

1.Pytorch与autograd（自动计算梯度）-导数-方向导数-偏导数-梯度的概念

 2.梯度与机器学习中的最优解

3.Variable is Tensor（案例中见）

4.如何计算梯度

 5.关于Autograd的几个概念

---

1.Pytorch与autograd（自动计算梯度）-导数-方向导数-偏导数-梯度的概念

（1）.什么是导数？

     导数(一元函数）是变化率、是切线的斜率、是瞬时速度。

 （2）.什么是方向导数?

 函数在A点无数个切线的斜率的定义。每一个切线都代表一个变化的方向。

 在上面图片中左边的a点画出了多个切线，方向都是不同。再看右边的A点，画出了这一点的切线，这就是某一方向的导数（方向导数）。

（3）.什么是偏导数？

多元函数降维时候的变化，比如:二元函数固定y，只让x单独变化，从而看成是关于x的一元函数的变化来研究。

 （4）.什么是梯度？

函数在A点无数个变化方向中变化最快的那个方向。从而寻找到最优解。

 2.梯度与机器学习中的最优解

      上面说了，就是在无数个变化方向中找到变化最快的那个方向，经过多次迭代，找到最优解。

      再做模型的时候，是有理论基础与优化函数的，在机器学习中有三大学习：有监督学习，无监督学习，半监督的学习。

有监督学习：简单的说有样本、有标签，进行训练。就比如说，判断男女，我们就拿出一些外貌特征作为样本，打上男女标签。最后训练出模型，就可以输入属性，得到结果。常见的有LDA、SVM、深度学习。

无监督学习：有样本，无标签的，常见的有聚类、PCA

半监督学习： 有三个条件：1.弱标签（标注的不准确），2.伪标签（通过某种方法进行标注的，比如说聚类），3.一半有标签一半无标签。

        学过机器学习的同学一定都知道 Y=f（X)。  f（）就是网络结构，就像函数一元，二元，多元函数。输入一个X，得到一个Y，网络结构肯定有很多参数W,b等等，可写为这样的f(w,b,x)，为了得到最优解不断迭代，优化参数，减小loss=||f(w,b,x)- Y真 ||^2，才能得到最优解。

       再深入一点，我们可以把f(w,b,x),这个函数想象成一个二元一次方程，开口向上的凹形曲线，一定是有最小值的，最小值就是最优解，这一点是loss最小值的地方，我们怎么样去找到那？

       只要沿着梯度下降最快的方向，不断地调整，一个点不是，再往下找，当调整到最低谷的时候，就找到了这个点，参数w，b就找到了。我们还是最快的速度找的，因为我们找的是梯度下降最快的方向。方法就是求导。

还有一点就是我们的函数（网络模型）比较复杂，在编写代码时候，就用到了梯度下降法。

还有调整问题，我们每次迭代，需要调多少那，那就与学习率有关系了。（后面更新相关的概念）。

3.Variable is Tensor（案例中见）

• 目前Variable已经与Tensor合并。
• 每个tensor通过requires_grad来设置是否计算梯度。用来冻结某些层的参数

4.如何计算梯度

•  链式法则:两个函数组合起来的复合函数，导数等于里面函数代入外函数值的导乘以里面函数之导数。（大学里学过）

      举个例子: y=2x，Z=y*y，求dz/dx。

 5.关于Autograd的几个概念

 grad vs grad_fn

• grad:该Tensor的梯度值，每次在计算backward时都需要将前一时刻的梯度归零，否则梯度值会一直累加。
• grad_fn:叶子节点通常为None，只有结果节点的grad_fn才有效，用于指示梯度函数是哪种类型。

backward函数

• torch.autograd.backward(tensors,grad_tensors=None,retain_graph=None,create_graph=False)

           tensor:用于计算梯度的tensor，torch.autograd.backward(z)==z.backward()
           grad_tensors:在计算矩阵的梯度时会用到。他其实也是一个tensor， shape
一般需要和前面的tensor保持一致。

           retain_graph:通常在调用一次backward后，pytorch会自动把计算图销毁，所以要想对某个变量重复调用backward，则需要将该参数设置为True

           create_graph: 如果为True，那么就创建一个专门的graph of thederivative，这可以方便计算高阶微分。

torch.autograd.grad()函数

• def grad(outputs, inputs, grad_outputs=None, retain_graph=None,create_graph=False, only_inputs=True, allow_unused=False)

     计算和返回output关于 inputs的梯度的和。

     outputs :函数的因变量，即需要求导的那个函数 

     inputs:函数的自变量，定义多个tensor。 

     grad_outputs : 同backward

      only_inputs:只计算input的梯度 

       allow_unused( bool,可选）∶如果为False，当计算输出出错时(因此他们的梯度永远是0)指明不使用的inputs。 

torch.autograd包中的其他函数

• torch.autograd.enable_grad:启动梯度计算的上下文管理器
• torch.autograd.no_grad :禁止梯度计算的上下文管理器
• torch.autograd.set grad_enabled(mode):设置是否进行梯度计算的上下文管理器。

torch.autograd.Function

每一个原始的自动求导运算实际上是两个在Tensor上运行的函数

• forward函数计算从输入Tensors获得的输出Tensors
•  backward函数接收输出Tensors对于某个标量值的梯度，并且计算输入Tensors相对于该相同标量值的梯度
• 最后，利用apply方法执行相应的运算

比照着下面的代码看： 

       在底层，每一个原始的自动求导运算实际上是两个在Tensor上运行的函数。其中，forward函数计算从输入Tensors获得的输出Tensors。而backward函数接收输出Tensors对于某个标量值的梯度，并且计算输入Tensors相对于该相同标量值的梯度。

       在PyTorch中，我们可以很容易地通过定义torch.autograd.Function的子类并实现forward和backward函数，来定义自己的自动求导运算。之后我们就可以使用这个新的自动梯度运算符了。然后，我们可以通过构造一个实例并像调用函数一样，传入包含输入数据的tensor调用它，这样来使用新的自动求导运算。

import torch
'''
1.ctx是context的缩写, 翻译成"上下文; 环境"
2.ctx专门用在静态方法中
3.self指的是实例对象; 
而ctx用在静态方法中, 调用的时候不需要实例化对象, 直接通过类名就可以调用,
 所以self在静态方法中没有意义.
4.自定义的forward()方法和backward()方法的第一个参数必须是ctx; 
ctx可以保存forward()中的变量,以便在backward()中继续使用.

'''
class line(torch.autograd.Function):
    def forward(ctx,w,x,b):
        '''
         前向传播
        :param ctx: 上下文管理器
        :param w:
        :param x:
        :param b:
        :return:
        ctx.save_for_backward(a, b)能够保存forward()静态方法中的张量,
         从而可以在backward()静态方法中调用.
        '''
        ctx.save_for_backward(w,x,b)
        return w*x+b
    def backward(ctx,grad_out) :
        w, x, b = ctx.saved_tensors
        '''
        通过w,x,b= ctx.saved_tensors重新得到w,x,b.
        '''
        # 获取在前向传播里面的变量信息
        w, x, b = ctx.saved_tensors
        # 对w求导
        # 上一级梯度乘以当前梯度
        grad_w = grad_out * x
        # 对x求导
        grad_x = grad_out * w
        # 对b求导
        grad_b = grad_out
        return grad_w, grad_x, grad_b

w = torch. rand(2,2,requires_grad=True)
x = torch. rand(2,2, requires_grad=True)
b = torch. rand(2,2, requires_grad=True)
# 使用apply调用相应的运算
out=line.apply(w,x,b)
out.backward ( torch.ones(2,2))
print(w, x, b )
# 查看梯度值
print(w.grad, x.grad, b.grad)

          对于w*x+b,对于w的求导后，是x。对x求导后，是w。对b求导后是1。结果如上。