深度学习之——反向传播

最新推荐文章于 2024-07-12 00:46:55 发布

小羊头发长

最新推荐文章于 2024-07-12 00:46:55 发布

阅读量1.3k

点赞数 2

文章标签：深度学习人工智能机器学习

本文链接：https://blog.csdn.net/GWENGJING/article/details/126796200

版权

本文详细介绍了深度学习中的反向传播算法，包括前向传播、损失计算和反向传播过程。通过导数链式法则计算损失函数对权重参数的梯度，以此更新参数，实现模型优化。重点阐述了链式求导法则在反向传播中的应用，以及如何利用梯度下降法调整权重，降低损失函数，提升模型性能。

摘要由CSDN通过智能技术生成

反向传播算法（BP）：

前向传播通过训练数据和权重参数计算输出结果；反向传播通过导数链式法则计算损失函数对各参数的梯度，并根据梯度进行参数的更新。

1.前向传播

在前面的：全连接神经网络——前向传播中我们已经实现了神经网络的前向计算

这里就不过多介绍了，我们直接上代码：

import torch
import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.layer=nn.Sequential(
            nn.Linear(3*28*28,256),
            nn.ReLU(),
            nn.Linear(256,64),
            nn.ReLU(),
            nn.Linear(64, 10),
            nn.Softmax(dim=1)
        )
    #前向传播
    def forward(self,x):
        return self.layer(x)#这里是返回前向计算的输出
if __name__ == '__main__':
    net=Net()
    x=torch.randn(2,3*28*28)
    y=net.forward(x)
    print(y.shape)#torch.Size([2