BP神经网络概念

$BP$神经网络

1.激活函数

​ 激活函数（Activation Function）是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数对于人工神经网络模型去学习、理解复杂的非线性函数，具有十分重要的作用。

​ 如果不使用激活函数，每一层输出都是上一层输入的线性运算，无论神经网络有多少层，最终的输出只是输入的线性组合，相当于感知机。如果使用了激活函数，将非线性因素引入到网络中，使得神经网络可以任意逼近任何非线性函数，能够应用到更多的非线性模型。

常用的激活函数

$sigmoid$ 函数

​ $Sigmoid$函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间，公式如下：
$$f(x)=\frac{1}{1+e^{(-x)}}$$

$ReLU$函数

​ $Relu$激活函数（The Rectified Linear Unit），用于隐藏层的神经元输出。公式如下：
$$f(x)=max(0,x)$$

$Tanh$ 函数

​ $Tanh$ 是双曲函数中的一个，$Tanh()$ 为双曲正切。在数学中，双曲正切“$Tanh$”是由基本双曲函数双曲正弦和双曲余弦推导而来。公式如下：
$$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
$softmax$ 函数

​ $softmax$ 函数用于输出层。假设输出层共有 $n$ 个神经元，计算第 $k$ 个神经元的输出 $y_k$。$softmax$ 函数的分子是输入信号 $a_k$ 的指数函数，分母是所有输入信号的指数函数的和。$softmax$ 函数公式如下：
$$y_k=\frac{e^{a_k}}{{\sum }_{i=1}^n{e}^{a_i}}$$

2.神经网络结构

​ 第0层是输入层（2个神经元），第1层是隐含层（3个神经元），第2层是隐含层（2个神经元），第3层是输出层。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AGL2dpd5-1595410823549)(/前向传播.png)]

符号约定

​ $w_{jk}^{[l]}$表示从网络第$(l-1{)}^{th}$ 层第$k^{th}$ 个神经元指向第 $l^{th}$ 层第 $j^{th}$ 个神经元的连接权重，同时也是第 $l$ 层权重矩阵第 $j$ 行第 $k$ 列的元素。例如，上图中 $w_{21}^{[1]}$ ，第0层第1个神经元指向第1层第2个神经元的权重（褐色），也就是第 1 层权重矩阵第 2 行第 1 列的元素。同理，使用 $b_j^{[l]}$ 表示第 $l^{th}$ 层第 $j^{th}$ 个神经元的偏置 ，同时也是第 $l$ 层偏置向量的第 $j$ 个元素。使用 $z_j^{[l]}$ 表示第 $l^{th}$ 层第 $j^{th}$ 个神经元的线性结果，使用 $a_j^{[l]}$ 来表示第 $l^{th}$ 层第 $j^{th}$ 个神经元的激活函数输出。其中，激活函数使用符号σ表示，第 $l^{th}$ 层中第 $j^{th}$ 个神经元的激活为:

$$a_j^{[l]}=\sigma (z_j^{[l]})=\sigma \left(\sum _k{w}_{jk}^{[l]}{a}_k^{[l-1]}+b_j^{[l]}\right)$$
$w^{[l]}$ 表示第 $l$ 层的权重矩阵，$b^{[l]}$ 表示第 $l$ 层的偏置向量，$a^{[l]}$ 表示第 $l$ 层的神经元向量，结合上图讲述：

$w^{[1]}=\left[\begin{array}{lll}{w}_{11}^{[1]}& w_{12}^{[1]}& \\ w_{21}^{[1]}& w_{22}^{[1]}& \\ w_{31}^{[1]}& w_{32}^{[1]}& \end{array}\right]$ $w^{[2]}=\left[\begin{array}{lll}{w}_{11}^{[2]}& w_{12}^{[2]}& w_{13}^{[2]}\\ w_{21}^{[2]}& w_{22}^{[2]}& w_{23}^{[2]}\end{array}\right]$

$b^{[1]}=\left[\begin{array}{l}{b}_1^{[1]}\\ b_2^{[1]}\\ b_3^{[1]}\end{array}\right]$ $b^{[2]}=\left[\begin{array}{l}{b}_1^{[2]}\\ b_2^{[2]}\end{array}\right]$

进行线性矩阵运算。

$z^{[1]}=\left[\begin{array}{lll}{w}_{11}^{[1]}& w_{12}^{[1]}& \\ w_{21}^{[1]}& w_{22}^{[1]}& \\ w_{31}^{[1]}& w_{32}^{[1]}& \end{array}\right]\cdot \left[\begin{array}{c}{a}_1^{[0]}\\ a_2^{[0]}\end{array}\right]+\left[\begin{array}{l}{b}_1^{[1]}\\ b_2^{[1]}\\ b_3^{[1]}\end{array}\right]=\left[\begin{array}{c}{w}_{11}^{[1]}{a}_1^{[0]}+w_{12}^{[1]}{a}_2^{[0]}+b_1^{[1]}\\ w_{21}^{[1]}{a}_1^{[0]}+w_{22}^{[1]}{a}_2^{[0]}+b_2^{[1]}\\ w_{31}^{[1]}{a}_1^{[0]}+w_{32}^{[1]}{a}_2^{[0]}+b_3^{[1]}\end{array}\right]$

矩阵形状 (3,2) (2,1) (3,1) (3,1)

$z^{[2]}=[\begin{array}{cc}{w}_{11}^{[2]}& w_{12}^{[}\\ w_{21}^{[2]}& \end{array}$