C语言BP神经网络框架-神经网络正反向传播

文章总览-手把手教你用C语言搭建一个全连接神经网络框架

符号对照表

数学符号对照表

符号	含义
$x$	标量
$\mathbf{x}$	向量
$\mathbf{X}$	矩阵
$X$	张量
$(\cdot {)}^T$	向量或者矩阵的转置
$\odot$	按元素相乘
$\Vert \cdot {\Vert }_p$	$L_p$范数
$\Vert \cdot \Vert$	$L_2$范数
$\sum$	连加
$\prod$	连乘
$f(\cdot )$	函数
$\log (\cdot )$	自然对数函数
$\exp (\cdot )$	指数函数
$\frac{dy}{dx}$	$y$关于$x$的导数
$\frac{\partial y}{\partial x}$	$y$关于$x$的偏导
${\nabla }_{\mathbf{x}}y$	$y$关于向量$\mathbf{x}$的梯度
$\cdot \sim N(\mu ,{\sigma }^2)$	随机变量$\cdot$服从高斯分布
$\cdot \sim U(-\alpha ,\alpha )$	随机变量$\cdot$服从均匀分布
$E(\cdot )$	随机变量$\cdot$的数学期望
$Var(\cdot )$	随机变量$\cdot$的方差

神经网络参数符号对照表

符号	含义	备注
$N_t$	训练样本维度	$N_t>0$
$N_T$	训练样本数量	$N_T>0$
$N^{(i)}$	第i层神经元个数	i ∈ { 0 , 1 , 2 , ⋯   , H + 1 }      i = H + 1 i\in \{0,1,2,\cdots,H+1\}~~~~i=H+1 i∈{0,1,2,⋯,H+1}    i=H+1表示输出层~~不带Bias
$H$	隐藏层数	包含H个隐藏层
K	分类类别数	$K>1$
$S_l$	损失函数	S l ∈ { Mean  Square   Error，Cross  Entropy  Loss } S_l\in \{\text{Mean~~Square ~~Error，Cross~~Entropy~~Loss}\} Sl​∈{Mean  Square   Error，Cross  Entropy  Loss}

符号	含义	备注
$\mathbf{x}$	输入行向量	一个训练样本特征为一个行向量
$\mathbf{y}$	标签向量	一个训练样本标签为一个行向量 (ONEHOT)
$\mathbf{s}$	求和值行向量	每层对应一个行向量
$\mathbf{a}$	激活值行向量	每层对应一个行向量
$\sigma$	激活函数	$\sigma \in \text{{}sigmoid,tanh,relu,leakyrelu,softmax\}$
${\cdot }_j^{(i)}$	i代表网络层次~~~j代表分量	$0\le i\le H+1$

符号	含义	备注
$\mathbf{X}$	输入训练样本	维度 $N_T\times N_t$~~相当激活值矩阵$A^{(0)}$
${\mathbf{X}}^{+}$	输入训练样本加偏置列	维度 $N_T\times (N_t+1)$~~相当激活值矩阵$(A^{(0)}{)}^{+}$
${\mathbf{S}}^{(i)}$	第 i 层求和值矩阵	维度 $N_T\times N^{(i)}$~~$i=1,\cdots ,H,H+1$
${\mathbf{A}}^{(i)}$	第 i 层激活值矩阵	维度 $N_T\times N^{(i)}$~~$i=0,1,\cdots ,H,H+1$
$({\mathbf{A}}^{(i)}{)}^{+}$	第 i 层激活值矩阵加偏置列	维度 $N_T\times (N^{(i)}+1)$~~$i=0,1,\cdots ,H$
${\mathbf{W}}^{(i)}$	第 i 层权值矩阵	维度 $N^{(i-1)}\times N^{(i)}$, $i=1,\cdots ,H,H+1$.
${\mathbf{W}}^{(H+1)}$	输出层权值矩阵	维度 $N^{(N)}\times K$~~标签有 K 个类目
${\mathbf{W}}_b^{(i)}$	第 i 层权值偏置矩阵	维度 $(N^{(i-1)}+1)\times N^{(i)}$, $i=1,\cdots ,H,H+1$.
${\mathbf{W}}_b^{(H+1)}$	输出层权值偏置矩阵	维度 $(N^{(N)}+1)\times K$~~标签有 K 个类目
${\mathbf{S}}^{(H+1)}$	输出层求和值矩阵	维度 $N_T\times K $
${\mathbf{A}}^{(H+1)}$	输出层激活值矩阵	维度 $N_T\times K $
$\mathbf{Y}$	训练数据标签	维度 $N_T\times K$ (ONE-HOT)
${\mathbf{\Delta }}^{(i)}$	反向传播中间变量矩阵	维度 $N_T\times N^{(i)}$~~$i=1,\cdots ,H,H+1$
${\mathbf{\Delta }}^{(H+1)}$	输出层反向传播中间变量矩阵	维度 $N_T\times K$

神经网络正反向传播

神经网络的正反向传播是神经网络训练的重要组成部分，以图为例进行数学建模，最终扩展得到模型的矩阵运算形式。

自定义运算符：

1. ${\mathbf{x}}^{+}$ 运算符：为向量$\mathbf{x}$添加$Bias$列，具体在第$0$列添加全$1$。
   $$\mathbf{x}=\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right){\mathbf{x}}^{+}=\left(\begin{array}{cccc}1& a& b& c\\ 1& d& e& f\\ 1& g& h& i\end{array}\right)$$

2. ${\mathbf{x}}^{-}$ 运算符：为向量$\mathbf{x}$删去$Bias$列，具体删除第$0$列。
   $$\mathbf{x}=\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right){\mathbf{x}}^{-}=\left(\begin{array}{cc}b& c\\ e& f\\ h& i\end{array}\right)$$

神经网络正向传播

1. 神经网络示例推导：
   

2. 矩阵扩展推导形式：
   

神经网络反向传播

1. 示例推导：
   1.1 输出层权值梯度：
   

   1.2 隐藏层权值梯度：
   

2. 矩阵扩展推导形式：
   2.1 输出层权值求导：
   

   2.2 隐藏层权值求导：
   

神经网络张量流

前向传播	维度	反向传播	维度
$\mathbf{X}$	$N_T\times (N_t+1)$	LOSS	Scalar
${\mathbf{S}}^{(1)}$	$N_T\times N^{(1)}$	${\mathbf{\Delta }}^{(H+1)}$	$N_T\times K$
$({\mathbf{A}}^{(1)}{)}^{+}$	$N_T\times (N^{(1)}+1)$	${\nabla }_{{\mathbf{W}}^{(H+1)}}\mathcal{L}$	$(N^{(H)}+1)\times K$
${\mathbf{S}}^{(2)}$	$N_T\times N^{(2)}$	${\mathbf{\Delta }}^{(H)}$	$N_T\times (N^{(H)}+1)$
$({\mathbf{A}}^{(2)}{)}^{+}$	$N_T\times (N^{(2)}+1)$	${\nabla }_{{\mathbf{W}}^{(N)}}\mathcal{L}$	$(N^{(H-1)}+1)\times N^{(H)}$
$⋮$	$⋮$	$⋮$	$⋮$
${\mathbf{S}}^{(H)}$	$N_T\times N^{(H)}$	${\mathbf{\Delta }}^{(i)}$	$N_T\times (N^{(i)}+1)$
$({\mathbf{A}}^{(H)}{)}^{+}$	$N_T\times (N^{(H)}+1)$	${\nabla }_{{\mathbf{W}}^{(i)}}\mathcal{L}$	$(N^{(i-1)}+1)\times N^{(i)}$
${\mathbf{S}}^{(H+1)}$	$N_T\times K$	${\mathbf{\Delta }}^{(1)}$	$N_T\times (N^{(1)}+1)$
${\mathbf{A}}^{(H+1)}$	$N_T\times K$	${\nabla }_{{\mathbf{W}}^{(1)}}\mathcal{L}$	$(N_t+1)\times N^{(1)}$
计算Loss	计算Loss	更新梯度	更新梯度