【随笔】激活函数是怎样一种存在？

神经元的工作模型存在“激活（1）”和“抑制（0）”两种状态的跳变，那么理想的激活函数就应该是如图 6-7（a）所示的阶跃函数。

但事实上，在实际使用中，这类函数具有不光滑、不连续等众多不“友好”的特性，使用得并不广泛。为什么说它“不友好”呢，这是因为在训练网络权重时，通常依赖对某个权重求偏导、寻极值，而不光滑、不连续等通常意味着该函数无法“连续可导”。

因此，我们通常用 sigmoid()函数来代替阶跃函数，如图 6-7（b）所示。无论输入值（x）的范围有多大，这个函数都可以将输出挤压在[0,1]范围之内，故此这个函数又被称为“挤压函数（Squashing Function )”。

那么，我们应该怎样理解激活函数呢？实际上，我们还是能从生活中找到相似的影子的（理论，本来就源自人们对生活的抽象）。

比如，如果你的“野蛮女友”打你耳光，当她打你第一个耳光时，你想了很多，考虑她的长相（权重 wy)、身材（权重 wg）、学历（权重wg）、性格（权重 we）、你爱她的程度（权重 ws）以及娶媳妇的难度（权重 we）等因素（这些因素，在机器学习领域，就是研究对象的特征，它们组合在一起就构成了对象的特征空间)。

综合衡量后，你决定忍了，或者说这一切并没有超出你忍耐的阈值（这期间，你也给自己找了一个优雅的台阶：打是亲，骂是爱)。如果把你的忍耐“功能”看作一个函数（回顾一下前面的介绍可以了解，“项能”和“函数”本来就是一个概念——Function)，那么在这种场景下，相当于你的函数输出为0，目前还处于没有被激活状态。

当她打你第二个耳光时，你又想了很多，依然忍了，但上述因素的权重都开始调整了，比如性格权重下降，爱她的程度权重下降等。

……

当她打你第n个耳光时，你终于忍不了了，这时函数输出超出了阈值，你可能扬长而去，也可能哭着喊“要打，也别老打脸啊”。

参考文献：《深度学习之美:AI时代的数据处理与最佳实践》

猜你喜欢：👇🏻
⭐【随笔】深度学习之美——杨家有女初长成，养在深闺人未识
⭐【随笔】卷积神经网络中的卷积怎么卷？
⭐【随笔】通用近似定理