深度学习（1）：BP神经网络

最新推荐文章于 2022-08-16 21:35:58 发布

冰激凌啊

最新推荐文章于 2022-08-16 21:35:58 发布

阅读量259

点赞数 1

本文链接：https://blog.csdn.net/gyxx1998/article/details/119785049

版权

8 篇文章 10 订阅

订阅专栏

参考：

BP神经网络的结构

浅层神经网络	深度学习的神经网络
只有一个隐含层	有多个隐含层

感知器(Perceptron)包括输入项、权重、偏置、激活函数、输出组成。
在这里插入图片描述

激活函数常使用 Sigmoid函数

因为经过他的斜率和原函数的斜率相同（即不影响梯度）
在这里插入图片描述

实线代表正向传播，虚线代表反向传播
在这里插入图片描述

通过迭代寻找函数最小值

使用梯度下降，不使用固定步长可以：在斜率大的时候快速收敛，在斜率小的时候避免震荡
在这里插入图片描述

局部梯度

局部梯度，是指考虑单个节点上的梯度，而不考虑该节点之前的梯度。局部梯度概念的引入，结合链式法则，能够更方便的理解和计算反向传播。
在这里插入图片描述

正向传播和反向传播中的特殊运算结构
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

关注