手推BP算法系列2——Python实现多层神经元网络（Pyrtoch框架）

最新推荐文章于 2022-03-29 19:38:07 发布

wa1tzy

最新推荐文章于 2022-03-29 19:38:07 发布

阅读量438

点赞数

分类专栏： python AI 深度学习文章标签： python 深度学习 pytorch 神经网络机器学习

本文链接：https://blog.csdn.net/wa1tzy/article/details/106478769

版权

深度学习同时被 3 个专栏收录

81 篇文章 18 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

python

26 篇文章 1 订阅 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

79 篇文章 9 订阅

订阅专栏

本文介绍了使用PyTorch框架实现多层神经网络的步骤，包括数据集处理、网络结构定义、损失函数选择（BCE比MSE更适合与sigmoid配合）及求导过程。通过`base/utils/functional.py`、`base/nn.py`、`MyData.py`、`MyNet.py`、`Trainer.py`等文件展示了具体实现，并指出`keepdims`参数的作用。提供完整代码的下载链接。

摘要由CSDN通过智能技术生成

数据集获取链接：
链接：猫和非猫的h5格式数据集
提取码：s4kp

将文件做成类似pytorch的框架
在这里插入图片描述
求导思路：

BCELOSS求导思路：（链式求导）
Linear1-->relu-->Linear2-->sigmoid-->Loss；
对Loss求导得dA2=(1-Y)/(1-A)-Y/A；
对sigmoid求导得dA2_dZ2 = A * (1 -A)；
相乘得dZ2=dA2*dA2_dZ2；
要得到Linear2的dW2,dB2，需要知道rulu激活输出的A1,
A1用next()迭代出来，得到dW2,dB2；
要得到relu输出的A1的导数，需要知道Linear2的导数W2，
W2从动态图节点取，next()迭代一次获取一个层layer，当前W2=layer.weight
则得到dA1=dZ2*W2；
再求relu的导数relu_gradÿ