【学习笔记】常见的激励函数和损失函数

一、激励函数

如上图：神经元的输出值会经历一个f函数，我们将这个函数叫做激励函数。加入激励函数的目的是为了让神经网络模型能够逼近非线性函数。假若去掉激励函数，神经元就只有线性函数y=wx+b，这样的神经网络就只能逼近线性函数。假如在不加激励函数的前提下，要训练一个分类模型，倘若数据是非线性可分的，那么模型的准确率会相当低，因为我们的模型训练不出一个非线性函数去拟合数据。 

常见的激励函数：

1.Sigmoid函数