人工神经网络—多层神经网络

1. 回顾

  在上一讲中，我们提到从上个世纪80年代开始，人工神经网络领域迎来了新的突破，产生了多层神经网络，人们终于可以利用人工神经网络处理非线性问题了。

2. 多层神经网络结构

2.1 两层神经网络例子

  这一讲主要介绍多层神经网络的结构。下面这幅图是最简单的多层神经网络，它包含2层，总共由3个神经元相互连接而成。

图1 两层神经网络的例子

  输入$X$向量，有两个分量$x_1$，$x_2$，输出$y$是一个数值。我们逐层写出输入到输出之间的关系：
  $a_1={\omega }_{11}{x}_1+{\omega }_{12}{x}_2+b_1$（第一个神经元）
  $a_2={\omega }_{21}{x}_1+{\omega }_{22}{x}_2+b_2$（第二个神经元）
  $z_1=\phi (a_1)$（非线性函数）
  $z_2=\phi (a_2)$（非线性函数）
  $y={\omega }_1{z}_1+{\omega }_2{z}_2+b_3$（第三个神经元）

当然，我们也可以用一个非常复杂的公式描述多层神经网络输入与输出的关系
$$y=w_1\phi ({\omega }_{11}{x}_1+{\omega }_{12}{x}_2+b_1$$