《动手学深度学习》组队学习 Task03-05

Task 03

过拟合、欠拟合及其解决方案

本节主要内容有三点：
1.过拟合、欠拟合的概念
2.权重衰减
3.丢弃法

这里对过拟合、欠拟合的概念解释，引入了两个我之前没重视的概念：训练误差和泛化误差。
训练误差（training error），指模型在训练数据集上表现出的误差；
泛化误差（generalization error），指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。

欠拟合现象：模型无法达到一个较低的误差。
过拟合现象：训练误差较低但是泛化误差依然较高，二者相差较大。

这里使用泛化误差和训练误差之间的关系来定义过拟合和欠拟合的概念，学习到了。

接下来是用代码实例来展现正常、欠拟合、过拟合的情况。使用代码演示来亲身体会，加深理解。

而处理这两个问题的解决方案，这里介绍的分别有权重衰减和丢弃法。代码上一样分为从零实现和使用高度封装函数的简洁实现。

（仍在学习，未完待续）