（作业）深度学习笔记-bp神经网络

yukihi47

已于 2022-08-13 20:16:17 修改

阅读量306

点赞数

分类专栏：笔记文章标签：其他

于 2022-08-13 20:10:54 首次发布

原文链接：https://blog.csdn.net/u014182497/article/details/70226056;https://blog.csdn.net/asty9000/article/details/85295295?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165971266516782350861387%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%25

版权

笔记专栏收录该内容

6 篇文章 0 订阅

订阅专栏

啊啊啊啊啊啊啊啊啊只是作业啊啊啊啊啊啊，写的西撇

参考：
版权声明：本文为CSDN博主「-麦_子-」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u014182497/article/details/70226056

文章目录

概述

BP神经网络是一种多层前馈神经网络，特点是：信号向前传播，误差反向传播。通俗理解就是，BP神经网络通过层与层向前传播，得到最终实际输出后，与期望输出做对比，通过“梯度下降”策略，逐层调节权重和阈值，最终得到与期望输出在误差允许范围内的神经网络模型。

一.基础知识

1.1 M-P神经元模型

$x_{i}$ 是输入的原始数据， $w_{i}$ 是权重（权重决定 $x_{n}$ 数据在输出被处理过程中的占比程度——对应公式 $y=f(\sum_{i=1}^{n}w_{i}x_{i}-\theta)$ ， $w_{n}$ 就是个系数，第一回自定）

$\theta$ 是神经元的激活阈值，函数被称为激活函数。（ps.激活函数咋选深度学习必备小知识之激活函数的区别_running鸿的博客-CSDN博客_激活函数区别）

函数 $f(\cdot )$ 可以用一个阶跃方程表示，大于阈值激活,否则则抑制。理想中的激活函数阶跃函数，然而阶跃函数具有不连续、不光滑等不好的性质，因此我们更常用的方法是用sigmoid函数来表示。

1.2 多层网络与感知机

神经网络由三部分组成，分别是输入层（i）、隐藏层（h）和输出层（o），其中输入层与输出层只有一层，而隐藏层则可以是多层的（隐藏层节点数： $h=\sqrt{i+o}+b,b\in[1,9]$ ）。每一层都有一定数量的神经元，不同层之间的神经元用线连接起来，每条线都有一定的权重 $w_{i}$ 。

如图第一层为输入层，最后一层为输出层，第2到 $l$ 层都为隐藏层，图中只画了一层隐藏层。其中的+1，为偏置。 $x_{1}$ 、 $x_{2}$ .. $.x_{n}$ 为输入单个样本的输入。 $w_{ij}^{l}$ 表示从第 $l-1$ 层的第 $i$ 个神经元指向第 $l$ 层的第 $j$ 个神经元的线的权重。 $b_{j}^{l}$ 表示第l层第j个神经元的偏置。 $z_{j}^{l}$ 表示第 $l-1$ 层神经元到第 $l$ 层的第 $j$ 个神经元的加权和。 $a_{j}^{l}$ 表示第l层的第j个神经元的加权和 $z_{j}^{l}$ 经过激活函数计算后得到该神经元的输出值。除了输入层，其他层的神经元都会有一个前一层神经元的加权和 $z$ 作为激活函数的输入，然后得到输出 $a$ 。