深度学习笔记-计算图，autograd，逻辑回归

概念

  计算图是深度学习和神经网络中的一个核心概念，它以图的形式表示数学运算和数据之间的关系。在计算图中，节点（vertices）通常表示数学运算，而边（edges）表示在运算之间流动的数据。

特点

1. 表达复杂的数学运算：计算图可以清晰地表示复杂的数学运算序列，包括线性代数运算、非线性激活函数等，这对于构建和理解复杂的神经网络模型至关重要。

2. 自动微分与反向传播：计算图的一个关键优势在于支持自动微分，这是训练神经网络所必需的。在反向传播算法中，计算图用于有效地计算梯度，从而更新网络中的权重。

3. 优化计算效率：通过计算图，可以对神经网络的运算进行优化。例如，一些不必要的计算可以被识别并消除，或者可以重新安排计算顺序以提高效率。

4. 内存效率（Memory Efficiency）：通过计算图，PyTorch 能够更有效地管理内存使用。特别是在自动微分中，计算图使得只有需要梯度的变量才会存储相关的中间值，从而节省内存。(只有叶子节点才会保留梯度,中间节点的梯度会被清除)

"""由于pytorch为了节省内存,所以在计算时不保留中间节点的梯度值,
因此如果直接print中间节点的梯度值时会报错:
'The .grad attribute of a Tensor that is not a leaf Tensor 
is being accessed. Its .grad attribute won't be populated 
during autograd.backward(). If you indeed want the .grad 
field to be populated for a non-leaf Tensor, use .retain_grad()
on the non-leaf Tensor. If you access the non-leaf Tensor by 
mistake, make sure you access the leaf Tensor instead.'
因此需要添加一个方法在计算后来保留此中间节点的梯度"""

tensor.retain_grad()  # for retain the intermediate node's grad

tensor.grad_fn  # 表示生成此张量所用的方法,在梯度求导中可以用来确定用什么求导方法来计算导数

tensor.is_leaf  # 表示是否是叶子节点，返回布尔值

动态图和静态图

动态图：运算与搭建同时进行

一边规划路径，一边进行计算，优点是灵活易于调节，但是效率不高

静态图：先搭建图，后运算

先确定计算的路径，然后进行计算，优点是高效，但是不灵活

  如图，pytorch是通过动态图的方式进行计算的，图的构建的每一步都是和计算同步进行，计算过后才搭建的节点，最后通过backward函数来进行反向传播

autograd-自动求导系统

‘torch.autograd’是 PyTorch 深度学习框架的一个核心模块，用于自动计算神经网络中的梯度。这个功能对于实现神经网络中的反向传播算法至关重要。

torch.autograd.backward(tensors,
        grad_tensors=None,
        retain_graph=None,
        create_graph=False)
    """自动求取梯度，tensors是用于求导的张量；retain_graph：布尔型变量，设置为True就代表保存当前的计算图；create_graph：创建导数计算图，用于高阶求导；grad_tensors：多梯度权重，这个参数是一个张量形式的值，包含了对应位置梯度的权重"""

torch.autograd.grad(outputs,
        inputs,
        grad_outputs=None,
        retain_graph=None,
        create_graph=Flase)
    """功能：求取梯度，output是用于求导的张量，如loss，y;inputs是需要梯度的张量，如w，x"""

x = torch.tensor([3.],requires_grad=True)
y = torch.pow(x, 2)

grad_1 = torch.autograd.grad(y, x, create_graph=True)  # 生成的是一个元组
print(grad_1)

grad_2 = torch.autograd.grad(grad_1[0], x)  # 这里因为grad_1是一个元组,所以需要下标把元组的值取出来
print(grad_2)

autograd中有如下需要注意的点：

1.梯度不自动清零：也就是说每次梯度循环之后，如果不清零，则会将每次这个参数的梯度相加起来

2.依赖于叶子节点的节点，requires_grad默认为True：也就是叶子节点的父母节点，requires_grad不需要特殊来声明

3.叶子节点不可执行in-place：

        in-place操作是指在原始内存中改变数据（原地操作），而不是开辟一个新的地址，比如+=操作就是原位操作，而a = a+1就不是原地操作。

        原理是因为在前向传播的过程中，需要求导的节点的地址被记录，然后在反向传播中通过记录的地址来找到数值，然后再进行求导计算。如果改变了当前的叶子节点的地址里的值，就会导致原始前向传播的值和现在的值不同。

逻辑回归（对数几率回归）

线性的二分类模型，表达式为y=f（WX+b），然后经过sigmoid函数来进行二分类预测。

和线性回归模型的区别是：线性回归模型是讨论自变量与因变量（标量）之间的关系；而逻辑回归是在线性回归的基础上增加了sigmoid函数，从而讨论自变量与因变量（概率）之间的关系

机器学习的模型训练步骤

1.数据模块：包括对数据的采集，清洗，预处理等，使得数据符合条件，能够直接输入到模型模块中

2.模型模块：根据任务的难易程度，选择简单的线性模型或者复杂的神经网络模型

3.损失函数模块：根据不同的任务选择不同的损失函数（均方差，交叉熵）

4.优化器模块：选择适当的优化器来更新权值