过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

过拟合、欠拟合及其解决方案

关于验证数据集的描述错误的是：

1 测试数据集可以用来调整模型参数
2 验证数据集可以用来调整模型参数
3 在数据不够多的时候，k折交叉验证是一种常用的验证方法
4 k折交叉验证将数据分为k份，每次选择一份用于验证模型，其余的用于训练模型

答案：1

测试数据集不可以用来调整模型参数，如果使用测试数据集调整模型参数，可能在测试数据集上发生一定程度的过拟合，此时将不能用测试误差来近似泛化误差。

关于过拟合、欠拟合概念的描述错误的是：

1 过拟合是指训练误差很低，泛化误差相对于训练误差要高很多
2 过拟合和欠拟合可以同时发生
3 欠拟合是指训练误差和泛化误差都无法到达一个较低的水平
4 过拟合和欠拟合都是在训练中容易遇到的经典问题

答案：2

过拟合是指训练误差达到一个较低的水平，而泛化误差依然较大。
欠拟合是指训练误差和泛化误差都不能达到一个较低的水平。
发生欠拟合的时候在训练集上训练误差不能达到一个比较低的水平，所以过拟合和欠拟合不可能同时发生。

关于模型复杂度和数据集大小造成欠拟合和过拟合的描述错误的是：

1 模型复杂度低容易导致欠拟合
2 训练数据集小容易导致过拟合
3 解决欠拟合可以考虑增加模型的复杂度
4 缓解过拟合只能增加训练数据集的大小

答案：4

过拟合是指训练误差达到一个较低的水平，而泛化误差依然较大。
欠拟合是指训练误差和泛化误差都不能达到一个较低的水平。
发生欠拟合的时候在训练集上训练误差不能达到一个比较低的水平