03 深度学习框架 Datawhale X 李宏毅苹果书 AI夏令营

深度学习方法与实践

跟着教程跑分

参加了大佬安排的云端跑分，知道了Kaggle、明确了下一步自己应该去学什么。虽然这次跑分只是跟学，分数没有很高，但直到自己需要提高一些python相关的包、需要去做一些上手的项目。

深度学习实践时的问题与技巧

1. 模型存在偏差

如图所示，模型可能太简单、模型采用的训练集没有概括性、建模时不知道领域知识…

2. 模型有待优化

2.1优化方法

	梯度下降

3. 模型过拟合怎么解决

3.1 往往是最有效的方向，即增加训练集。
3.2 要给模型一些限制，最好模型正好跟背后产生数据的过程，过程是一 样的就有机会得到好的结果。给模型制造限制可以有如下方法： 
• 给模型比较少的参数。如果是深度学习的话，就给它比较少的神经元的数量
• 用比较少的特征，本来给 3 天的数据，改成用给两天的数据，其实结果就好了一些。
• 还有别的方法，比如早停（early stopping）、正则化（regularization）和丢弃法（dropout method）

4. 模型交叉验证

5. 模型不匹配

一般的过拟合可以用搜集更多的数据来克服，但是不匹配是 指训练集跟测试集的分布不同，训练集再增加其实也没有帮助了.