Datawhale AI训练营深度学习入门，Task3

模型偏差

模型本身的局限，可能过于简单所以会导致很难找到一个合适的损失函数。这个时候可以通过增加数据输入量和优化模型本身结构来达到，解决偏差的问题。

优化问题

使用梯度下降进行优化时，经常会陷入局部最优解的问题，无法有效地找到一个能让损失降到很低的函数。这个时候就会陷入到底是 模型偏差还是模型灵活度不够的问题。 如何找到解决这个问题？有一个解决方法：通过比较不同的模型来判断模型是否够大。
一般来说如果更深的模型损失比浅层模型的损失更大，那么说明更深模型的优化做的不够好，它的梯度下降不给力。在训练集上表现好，而在测试集上损失大，则有可能是过拟合了。

过拟合

过拟合的描述我更倾向于用实际例子来说明：一个学生只会自己做过的题目，当这些题目做过一些小的修改，则完全不会。映射到深度学习中就是，算法本身只能训练集中的x输出对应的训练集的y，而在测试集上毫无用处。
如何解决这个问题？1、增加训练集（只要考试的题目我全部做过，那我在考试的时候发挥很好）2、减少神经元的数量给出一些限制，不让模型完全发挥

交叉验证

将数据分为训练集和验证集，一般10%为测试集90%为训练集。用验证集来验证模型所训练出来的效果，根据效果来选择合适的模型。
为了防止随机分验证集会导致奇怪的结果，所以采用k折交叉验证。

不匹配

一种特别的错误，跟训练方式、模型和数据集无关，没办法通过增加数据集来解决，是因为训练集和测试集的分布不同。