手撕深度学习-S型神经元（二）

  学习算法听上去⾮常棒。但是我们怎样给⼀个神经⽹络设计这样的算法呢？假设我们有⼀个感知器⽹络，想要⽤它来解决⼀些问题。例如，⽹络的输⼊可以是⼀幅⼿写数字的扫描图像。我们想要⽹络能学习权重和偏置，这样⽹络的输出能正确分类这些数字。为了看清学习是怎样⼯作的，假设我们把⽹络中的权重（或者偏置）做些微⼩的改动。就像我们⻢上会看到的，这⼀属性会让学习变得可能。这⾥简要⽰意我们想要的（很明显这个⽹络对于⼿写识别还是太简单了！）：

  如果对权重（或者偏置）的微⼩的改动真的能够仅仅引起输出的微⼩变化，那我们可以利⽤这⼀事实来修改权重和偏置，让我们的⽹络能够表现得像我们想要的那样。例如，假设⽹络错误地把⼀个“9”的图像分类为“8”。我们能够计算出怎么对权重和偏置做些⼩的改动，这样⽹络能够接近于把图像分类为“9”。然后我们要重复这个⼯作，反复改动权重和偏置来产⽣更好的输出。这时⽹络就在学习。
  问题在于当我们的⽹络包含感知器时这不会发⽣。实际上，⽹络中单个感知器上⼀个权重或偏置的微⼩改动有时候会引起那个感知器的输出完全翻转，如 0 变到 1。那样的翻转可能接下来引起其余⽹络的⾏为以极其复杂的⽅式完全改变。因此，虽然你的“9”可能被正确分类，⽹络在其它图像上的⾏为很可能以⼀些很难控制的⽅式被完全改变。这使得逐步修改权重和偏置来让⽹络接近期望⾏为变得困难。也许有其它聪明的⽅式来解决这个问题。但是这不是显⽽易⻅地能让⼀个感知器⽹络去学习。
  我们可以引⼊⼀种称为 S 型神经元的新的⼈⼯神经元来克服这个问题。S 型神经元和感知器类似，但是被修改为权重和偏置的微⼩改动只引起输出的微⼩变化。这对于让