【学习笔记】常见的激励函数和损失函数

一、激励函数

如上图：神经元的输出值会经历一个f函数，我们将这个函数叫做激励函数。加入激励函数的目的是为了让神经网络模型能够逼近非线性函数。假若去掉激励函数，神经元就只有线性函数y=wx+b，这样的神经网络就只能逼近线性函数。假如在不加激励函数的前提下，要训练一个分类模型，倘若数据是非线性可分的，那么模型的准确率会相当低，因为我们的模型训练不出一个非线性函数去拟合数据。 

常见的激励函数：

1.Sigmoid函数

 2.Linear

线性激活函数，即不对神经元的输出值进行处理，直接输出，通常是用在回归模型的输出层中。

3.Softmax

通常用在分类模型的输出层中。原理如下：

 训练的时候将训练样本图片放入输入层，标签向量放入输出层，最终训练出一个模型。

最后，softmax层的输出结果如下图所示：

 0.85对应着最大概率，说明这张图片是猫，多有的概率加起来等于1。

 4.Relu

 二、损失函数

前言：基于整个神经网络的训练课程是基于梯度下降方法去不断缩小预测值与真实值之间差值的过程。而这个差值就是损失（loss），计算这个损失的函数就是损失函数，且损失函数是和神经网络输出层的激励函数相配套的。

 

 

 以上信息来源于公众号：python机器学习体系

自己的学习记录，如有侵权，请联系删除！！！