神经网络基础学习笔记—s激活函数

在激活函数中，我们常常要考虑激活函数的阈值。可以看到，在输入值比较小的情况下，输出为0，然而，一旦输入达到阈值，输出就一跃而起。
在这里插入图片描述下图所示的S形函数称为S函数（sigmoidfunction）。这个函数，比起冷冰冰、硬邦邦的阶跃函数要相对平滑，这使得这个函数更自然、更接近现实。自然界很少有冰冷尖锐的边缘。

S函数，有时也称为逻辑函数：$$y=\frac{1}{1+e^{-x}}$$当x=0时，y=0.5。
如果组合信号不够强大，那么S阈值函数的效果是抑制输出信号。如果总和x足够大，S函数的效果就是激发神经元。有趣的是，如果只有
其中一个输入足够大，其他输入都很小，那么这也足够激发神经元。更重要的是，如果其中一些输入，单个而言一般大，但不是非常大，这样由于信号的组合足够大，超过阈值，那么神经元也能激发。

质问为什么必须把前后层的每一个神经元与所有其他层的神经元互相连接，并且你甚至可以提出各种创造性的方式将这些神经元连接起来。我们不采用创造性的方式将神经元连接起来，原因有两点，第一是这种一致的完全连接形式事上可以相对容易地编码成计算机指令，第二是神经网络的学习过程将会弱化这些实际上不需要的连接（也就是这些连接的权重将趋近于0），因此对于解决特定任务所需最小数量的连接冗余几个连接，也无伤大雅。