YB菜菜的机器学习自学之路（五）——完整的单神经元罗森布拉特感知模型（激活函数）

前提说明

首先，事实上，我们在思考分析问题时，并不会考虑精确的数学拟合，而是分类，比如将一组数据分类成若干个类别，这也是机器学习真正要做的事情。
此外，线性函数的能力是有限的。在前面中，我们将输入通过一元一次函数进行相乘累加。事实上无论多少个神经元，无论多少次方的函数，其都是线性的。无论多少次都可以看成矩阵相乘，就算叠加了若干层之后，无非还是个矩阵相乘罢了。
因此，我们需要加入一个新的操作，来增加神经元模型的非线性。

1.激活函数

1.1 激活函数的作用

图1

如图1所示绿色部分，在实际中，我们在罗森布拉特感知器前向过程的输出后面加入一个非线性函数，来增加神经网络模型的非线性和实现数据的分类。这个非线性函数称为激活函数。

1.2 Sigmod函数

Sigmod函数是常用的激活函数，是一个在生物学中常见的S型函数，也称为S型生长曲线。它能将变量映射到0,1之间。常见的几种形式如图2所示。

图2 Sigmod函数的几种常见形式

在这当中，Logistic最为常用，其表达式为：
$$sigmoid()=\frac{L}{1+e^{-k(y-y_0)}}(1)$$
当$L=1,k=1,y=0$时，又称为标准Logistic函数,如图3所示

图3

2. 完整的单元罗森布拉特感知模型

图4

自此，我们可以得到一个完整的单神经元的罗森布拉特感知模型，如图4所示。
在整个过程中，我们用预测函数模型（一元一次函数$y=wx+b$）来模拟神经元，而把我们统计观测而来的数据送入预测函数进行预测,得到预测结果（线性累加结果）。
预测结果输入至激活函数中，进行分类并输出预测结果。接着我们观察预测结果和观测结果之间误差。在这里我们用平方差函数来衡量预测模型的准确度，而这个平方差函数又被称为代价函数
接着我们用这个代价函数去修正预测函数模型。采用方法是梯度下降。

图5

神经元模型依然是$y=w\ast x+b$,加入激活函数后，不断梯度下降和迭代，最终输出如图5所示。 可以看到迭代后的参数值使得激活函数的曲线与数据类型分布贴合。