全连接神经网络基础——正向传播及损失函数

全连接神经网络结构

顾名思义，全连接神经网络指的是上一层网络中的所有神经元都与下一层网络中的所有神经元相连，即上一层网络所有神经元的输出都作为下一层网络所有神经元的输入。一个简单的全连接神经网络结果如下，

该网络除去输入层以及输出层外有两层隐藏层，每个隐藏层有三个神经元，每层神经元都与下层神经元进行全连接。

正向传播

在网络的正向传播过程中，每个神经元首先将上层网络神经元的输出进行一个线性组合，然后通过一个非线性函数进行非线性变换作为当前神经元的输出。神经元的结构如下图所示，

上层神经元产生的输出$x_1,x_2,x_3$作为输入传入当前神经元，首先在权重$w_1,w_2,w_3$和一个偏置项$b$的作用下进行线性组合，然后通过非线性函数$f$进行非线性变换产生输出$y$，即
$$y=f(w_1{x}_1+w_2{x}_2+w_3{x}_3+b)。$$

激活函数的作用是为了让网络能够解决非线性问题，如果没有激活函数，整个网络可以视为一个简单的线性函数，然而现实中的问题大多数是非线性的，所以通过引入激活函数来表达非线性模型。常见的激活函数有
$$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}:\delta (x)=\frac{1}{1+e^{-x}},$$$$\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}:tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}},$$$$\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{u}:relu(x)=max(0,x)。$$

以本文开始时的网络结构为例，网络的正向传播过程如下，
第一个隐藏层：$${\mathbf{x}}^{(2)}=f_1({\mathbf{W}}^{(1)}\mathbf{x}+{\mathbf{B}}^{(1)}),$$其中 x = [ x 11 , x 12 ] T