PRML学习笔记之Neural Nerwork（神经网络）

1. Feed-forwardNetwork Functions

拿下图举例说明神经网络：

上图是一个三层的神经网络，第一层叫输入层，最后一层叫输出层，中间的叫做隐含层。（x₀,z₀是虚构的，值都是1）

数据是如何从输入层到达输出层的呢？

首先：

w_ji叫做权重系数，w_j0叫做偏移量w_j0

进而：

得到第二层的值，h可能是sigmoid，tanh或softmax等函数。

最后：

得到输出y。

当然对于多于3层的神经网络，类似于上述计算，得到神经网络的输出y。

上述的σ函数可以是sigmoid函数之类的

2. Network Training

实际中应用的错误函数有两类：

一类是平方差函数：

这儿可以下笔记的Word版，中间那个梯度下降的gif演示图片无法播放，也可以在下面这儿下载：

点击下载