莫烦学习笔记之TensorFlow(Activation function)激励函数

最近刚刚使用python，同时也是在自学机器学习，看到莫烦TensorFlow篇中关于激励函数的讲解的时候，心里总是有一些疑问，尤其是视频中多次提到，激励函数的作用是把原本是线性的函数“变弯”，那么为什么要把它“变弯”呢？这样做的好处和理由是什么？

后来无意间看到一篇文章，恍然大悟：

上个世纪六十年代，提出了最早的"人造神经元"模型，叫做"感知器"（perceptron），直到今天还在用，如下图

上图的圆圈就代表一个感知器。它接受多个输入（x1，x2，x3...），产生一个输出（output），好比神经末梢感受各种外部环境的变化，最后产生电信号。

为了简化模型，我们约定每种输入只有两种可能：1 或 0。如果所有输入都是1，表示各种条件都成立，输出就是1；如果所有输入都是0，表示条件都不成立，输出就是0。

大概的几何图像就是这样

首先，将感知器的计算结果wx + b记为z。

z = wx + b

然后，计算下面的式子，将结果记为σ(z)。

σ(z) = 1 / (1 + e^(-z))

如果权重和阈值有轻微的变动，结果也还是1或者0，这样的模型明显是不够敏感的，不够准确的，那么如何使得模型变得"敏感"呢？

------变弯

如下图：

原文请点：http://www.ruanyifeng.com/blog/2017/07/neural-network.html