【深度学习】怎么为模型选择正确的最后一层激活和损失函数

---

前言

当我们构建完一个小型的卷积神经网络时，我们通常要考虑网络最后一层激活函数和损失函数的选择。以下分别讲解了部分激活函数和损失函数。

一、激活函数

激活函数是神经网络中对输入数据进行计算的非线性函数，如果没有激活函数的加持，那么神经网络仅仅对输入数据做简单的线性变化，只能解决线性问题。以下是一个二分类的任务，通过该分类任务我们来观察激活函数到底起到了什么作用。

然而再加入了激活函数之后，我们便可以计算非线性的问题。上图经过激活函数之后，我们可以用一条曲线将其分开，分类的结果如下：

二、损失函数

损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。

损失函数使用主要是在模型的训练阶段，每个批次的训练数据送入模型后，通过前向传播输出预测值，然后损失函数会计算出预测值和真实值之间的差异值，也就是损失值。得到损失值之后，模型通过反向传播去更新各个参数，来降低真实值与预测值之间的损失，使得模型生成的预测值往真实值方向靠拢，从而达到学习的目的。

结论

以下列出了常见问题