【深度学习基础3】Sigmoid 神经元和多层 Sigmoid 神经元网络

一、Motivation

1. 如何实现任意的函数 y = f(x)

上一节我们了解了感知机可以解决所有的布尔函数，方法是隐藏层的个数为2ⁿ（输入个数为n），每个隐藏层对饮一种输入情形，当对应的情形被输入时，对应的那一个神经元开火，输出1，其余全为0。但是实际任务中，输入不是非0即1的，那么我们如何实现任意的函数 y = f(x)呢？？？

2. 输出非0即1判定过于绝对

以预测是否喜欢看一部电影为例，假 设 预 测 仅 仅 基 于 一 个 输 入（x1 =criticsRating ∈ [0, 1]）。 如果阈值是 0.5（w₀ = −0.5），w₁ = 1，如何预测一个 criticsRating = 0.51 的电影? 如何预测一个 criticsRating = 0.49 的电影?

也就是说，我们将阈值设定为0.5，当输入大于0.5判定为“喜欢”，当输入小于0.5判定为“不喜欢”，这就会导致打分0.51就喜欢，打分0.49就不喜欢，这显然是不合理的。这就引出sigmoid。

二、Sigmoid 神经元

不同于预测『喜欢』或『不喜欢』，而是预测喜欢一部电影的概率。先来直观感受一下