torch之学习笔记——MLP基础

最新推荐文章于 2024-08-02 17:39:22 发布

卖香油的少掌柜

最新推荐文章于 2024-08-02 17:39:22 发布

阅读量2.5k

点赞数

文章标签： pytorch 深度学习机器学习

本文链接：https://blog.csdn.net/qq_58832911/article/details/122827999

版权

这篇博客详细介绍了多层感知器（MLP）的计算过程，包括使用PyTorch手动和自动求导计算梯度的步骤。通过具体的代码实例展示了softmax函数的导数计算，并利用链式法则展示了乘积原则和链式法则的运用。内容涵盖梯度计算的核心API使用，以及MLP反向传播的图解和公式推导。

摘要由CSDN通过智能技术生成

MLP基础解释：

torch实现梯度的计算。

代码实现链式法则计算。

MLP计算过程推导

梯度计算

核心API使用实例:

手动求导

自动求导：

Softmax求导例子：

求导的链式法则

乘积原则：

链式法则：

代码：

import torch
# import torch.autograd
x =torch.tensor(1.)
w1 = torch.tensor(2.,requires_grad=True)
b1 = torch.tensor(1.)
w2 = torch.tensor(2.,requires_grad=True)
b2 = torch.tensor(1.)

y1 = x*w1+b1
y2 = y1*w2+b2

dy2_dy1 = torch.autograd.grad(y2,[y1],retain_graph=True)[0]
dy1_dw1 = torch.autograd.grad(y1,[w1],retain_graph=True)[0]

dy2_dw1 = torch.autograd.grad(y2,[w1],retain_graph=True)[0]

print(dy2_dy1)
print(dy1_dw1)
print(dy2_dw1)