Datawhale X 李宏毅苹果书 AI夏令营-深度学习入门班#Task3

chap2 实践方法论知识点总结
1.模型效果不好的通用解决方法
如果我们训练的模型效果不好，有什么通用的解决方法吗？
下图就是一个模型效果不好的通用解决方法决策树，当然还要结合具体场景进行分析。

我们在应用机器学习算法时，实践方法论能够帮助我们更好地训练模型。如果在 Kaggle上的结果不太好，虽然Kaggle上呈现的是测试数据的结果，但要先检查训练数据的损失。看看模型在训练数据上面，有没有学起来，再去看测试的结果，如果训练数据的损失很大，显然它在训练集上面也没有训练好。
如果模型在训练数据上loss较大，有两种可能: 模型偏差与模型优化问题。
如果模型在训练数据上loss较小，但在测试数据上的loss较大，有两种可能: 过拟合与模型不匹配。
关于模型的复杂度，我们需要在模型偏差与过拟合之间找到trade off。

2.模型偏差(Model Bias)
模型偏差可能会影响模型训练。例如，假设模型过于简单，一个有未知参数的函数代θ1 得到一个函数 fθ1(x)，同理可得到另一个函数 fθ2(x)，把所有的函数集合起来得到一个函数的集合。但是该函数的集合太小了，没有包含任何一个函数，可以让损失变低的函数不在模型可以描述的范围内。在这种情况下，就算找出了一个 θ∗，虽然它是这些蓝色的函数里面最好的一个，但损失还是不够低。这种情况就是想要在大海里面捞针（一个损失低的函数），结果针根本就不在海里。

应对模型偏差的方法：重新设计模型，使其更具灵活性。例如，我们可增加更多的特征。对于深度学习，我们还可以设计具有更多的神经元和层的网络结构。

3应对过拟合的方法
(1)增加训练数据；
(2)数据增强：图片翻转；
(3)给模型一些限制：更少的参数、共享参数(CNN)；
(4)更少的特征；
(5)Early stopping ；
(6)正则化（regularization）；
(7)dropout；