Pytorch深度学习笔记（02）--损失函数、交叉熵、过拟合与欠拟合

目录

一、损失函数

二、交叉熵损失函数详解

1、交叉熵

2、信息量

3、信息熵

 4、相对熵（KL散度）

5、交叉熵

6、交叉熵在单分类问题中的应用

7、总结：

三、过拟合和欠拟合通俗解释

1、过拟合

2、欠拟合

3、原因和方法此处不再说明

---

一、损失函数

损失函数（loss function）是用来估量你模型的预测值与真实值的差异程度，损失函数越小，模型的鲁棒性就越好。

常用损失函数小结

• 平方损失
• 0-1损失
• Log损失
• Hinge损失
• 指数损失
• 感知损失

二、交叉熵损失函数详解

一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数。

交叉熵

主要用于度量两个概率分布间的差异性，要理解交叉熵，需要先了解下面几个概念。

1、信息量

信息量的大