深度学习方法与实践
跟着教程跑分
参加了大佬安排的云端跑分,知道了Kaggle、明确了下一步自己应该去学什么。虽然这次跑分只是跟学,分数没有很高,但直到自己需要提高一些python相关的包、需要去做一些上手的项目。
深度学习实践时的问题与技巧
1. 模型存在偏差
如图所示,模型可能太简单、模型采用的训练集没有概括性、建模时不知道领域知识…
2. 模型有待优化
2.1优化方法
梯度下降
3. 模型过拟合怎么解决
3.1 往往是最有效的方向,即增加训练集。
3.2 要给模型一些限制,最好模型正好跟背后产生数据的过程,过程是一 样的就有机会得到好的结果。给模型制造限制可以有如下方法:
• 给模型比较少的参数。如果是深度学习的话,就给它比较少的神经元的数量
• 用比较少的特征,本来给 3 天的数据,改成用给两天的数据,其实结果就好了一些。
• 还有别的方法,比如早停(early stopping)、正则化(regularization)和丢弃法(dropout method)
4. 模型交叉验证
5. 模型不匹配
一般的过拟合可以用搜集更多的数据来克服,但是不匹配是 指训练集跟测试集的分布不同,训练集再增加其实也没有帮助了.