神经网络 (Neural Network)

1 模型

前向传播模型 (Forward Propogation)

设有$n$个输入神经元(特征)，$K$个输出神经元(分类)，$L$层神经元 (不包括输入层)，每层$s_l$个神经元，第$l-1$层到$l$层的参数矩阵为 $W(l)\in {\mathbb{R}}^{s_{l-1}\times s_l}$，偏置项为 $b(l)\in {\mathbb{R}}^{1\times s_l}$，记 $\Theta =(W,b)$.
$$\begin{array}{rl}Layer0:& a(0)=x\\ Layer1:& z(1)=a^T(0)W(1)+b(1),\\ & a(1)=g_1\left(z(1)\right)\\ & ⋮\\ Layerl:& z(l)=a^T(l-1)W(l)+b(l),\\ & a(l)=g_l\left(z(l)\right)\\ & ⋮\\ LayerL:& z(L)=a^T(L-1)W(L)+b(L),\\ & \hat{y}=a(L)=g_L\left(z(L)\right)\end{array}$$
其中，
$$\begin{array}{rl}x& =\left[\begin{array}{c}{x}^{(1)}\\ ⋮\\ x^{(n)}\end{array}\right],a(l)=\left[\begin{array}{c}{a}^{(1)}(l)\\ ⋮\\ a^{(s_l)}(l)\end{array}\right]\\ & \\ W(l)& =\left[\begin{array}{ccc}{w}_{11}(l)& \cdots & w_{1,s_l}(l)\\ ⋮& & ⋮\\ w_{s_{l-1},1}(l)& \cdots & w_{s_{l-1},s_l}(l)\end{array}\right],l=1,\cdots ,L\\ & \\ b(l)& =\left[\begin{array}{ccc}{b}_1(l)& \cdots & b_{s_l}(l)\end{array}\right],l=1,\cdots ,L\\ & \end{array}$$
$g$ 称为激活函数，常见的激活函数有 $ReLUs,tanh,igmoid,softmax$，通常隐藏层取 $g(z)=ReLU(z)$，在二分类情况下输出层取 $g(z)=sigmoid(z)$，在多分类情况下输出层取 $g(z)=softmax(z)$.

• $ReLU$

g ( z ) = m a x { 0 , z } , g ′ ( z ) = { 0 , z ≤ 0 1 , z > 0 g(z) = max\{0,z\},\quad g'(z) = \begin{cases}0, & z \leq 0 \\ 1, & z > 0 \end{cases} g(z)=max{ 0,z},g′(z)={ 0,1,​z≤0z>0​

• $LeakyReLu$

g ( z ) = m a x { 0.01 z , z } , g ′ ( z ) = { 0.01 , z ≤ 0 1 , z > 0 g(z) = max\{0.01z,z\},\quad g'(z) = \begin{cases}0.01, & z \leq 0 \\ 1, & z > 0 \end{cases} g(z)=max{ 0.01z,z},g′(z)={ 0.01,1,​z≤0z>0​

• $tanh$

$$g(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}},g^{\prime }(z)=1-g^2(z)$$

• $sigmoid$ (二分类，$z$ 是标量即可)

g ( z ) = 1 1 + e − z , g ′ ( z ) = g ( z ) ( 1 − g ( z ) ) g(z) = \frac{1}{1+e^{-z}}, \quad g'(z) = g(z)(1-g(z)) g(z)=