西瓜书——第五章神经网络

5.1 神经元模型

“M-P神经元模型”：在这个模型中,神经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接(connection)进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过“激活函数”(activation function)处理以产生神经元的输出。

理想中的激活函数是图5.2(a)所示的阶跃函数，它将输入值映射为输出值“0”或“1”，显然“1”对应于神经元兴奋，“0”对应于神经元抑制。然而，阶跃函数具有不连续、不光滑等不太好的性质,因此实际常用Sigmoid函数作为激活函数。典型的Sigmoid函数如图5.2(b)所示，它把可能在较大范围内变化的输入值挤压到(0,1)输出值范围内，因此有时也称为“挤压函数”(squashing function)。

许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络。

5.2 感知机与多层网络

感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。

感知机能容易地实现逻辑与、或、非运算。
感知机模型:激活函数为sgn (阶跃函数)的神经元

感知机学习策略：

5.3 神经网络

由于像感知机这种单个神经元分类能力有限，只能分类线性可分的数据集，对于线性不可分的数据集则无能为力，但是多个神经元构成的神经网络能够分类线性不可分的数据集(西瓜书上异或问题的那个例子)，且有理论证明（通用近似定理)︰只需一个包含足够多神经元的隐层，多层前馈网络（最经典的神经网络之一)就能以任意精度逼近任意复杂度的连续函数。因此，神经网络既能做回归，也能做分类，而且不需要复杂的特征工程。
BUT，理想很丰满，现实很骨感，神经网络存在如下问题待屏幕前的你来解决︰

• 面对一个具体场景，神经网络该做多深?多宽?
• 面对一个具体场景，神经网络的结构该如何设计才最合理?
• 面对一个具体场景，神经网络的输出结果该如何解释?
  
  
  
  BP算法：