激活函数

1、什么是激活函数

激活函数（Activation Function）是用来加入非线性因素的，能够把输入的特征保留并映射下来。简单来说，就是用来拟合非线性的问题。

---

2、为什么要引进激活函数

线性的模型的表达能力不够。
a.对于一些线性问题可以线性区分，如一条直线对分类问题进行简单区分。这时可以使用单层感知机，单层感知机是神经网络组成单元。

b.对于一些非线性问题，可以在线性的基础上做一些线性变换或可以选择多层感知机（前馈神经网络）。多层感知机，不过是复杂的线性组合，此模型前向，无反馈，可以用无限多条直线逼近一条曲线。如三个函数f1，f2，f3：

         f(x)=f3（f2（f1））
         f1：第一层
         f2：第二层
         f3：第三层

但对于需要大量线性函数拟和曲线的多层感知机，这样做太复杂和麻烦。
所以这个时候，就引入非线性函数。能够把输入的特征保留并映射下来，拟合非线性。

---

3、激活函数实例

为了更进一步的理解激活函数，下面就来举一个常用的例子，虽然烂大街，但是却十分经典：异或问题

显然异或函数非线性函数，线性不可分。但是我们可以设计一种神经网络，通过激活函数来使得这组数据线性可分。激活函数我们选择阀值函数（threshold function），也就是大于某个值输出1（被激活了），小于等于则输出0（没有激活）。这个函数是非线性函数。

如此就解决线性模型所不能解决的问题。

---

4、激活函数种类

Sigmoid

σ(x)=11+e