深蓝学院的深度学习理论与实践课程：第四章

1、模型与风险

在模型评价时会有理想情况和现实情况（现实情况分为两种）

在学习过程中最重要的是损失函数：

还有其他损失函数。

损失函数是用来量化模型预测和真实标签之间的差异。比如说我们模型预测出来是，而我们真实数据是，实际上损失函数就是来衡量他们之间的一个差异。

2、偏差与方差

偏差(Bias)：是指一个模型在不同训练集上的平均性能和最优模型的差异，可以用来衡量一个模型的拟合能力。（偏差表示离你最优的模型离得是否远）

一般偏差越小，模型和最优模型之间的差距就越小，即模型的拟合能力越强。

方差：是指一个模型在不同训练集上的差异，可以用来衡量一个模型是否容易过拟合。

方差越大代表模型对不同数据集的分布学习的越好（过拟合），导致不同数据集训练出来的模型与模型的平均期望的差距越大。（所以一般是偏差小，方差也比较小这种是比较好的）

<