前言
本文是【Datawhale X 李宏毅苹果书 AI夏令营】的Task3学习笔记打卡。
学习目标
李宏毅老师对应视频课程:https://www.bilibili.com/video/BV1JA411c7VT?p=4
《深度学习详解》第二章主要介绍了训练模型时的优化方法。
一、优化策略
完成的作业如果在 Kaggle 上的结果不太好,虽然 Kaggle 上呈现的是测试数据的结果,但要先检查训练数据的损失。
看看模型在训练数据上面,有没有学起来,再去看测试的结果。
Kaggle 是一个全球知名的数据科学和机器学习竞赛平台,同时也是一个数据科学社区。它提供了各种与数据科学相关的资源,包括竞赛、数据集、代码共享、讨论论坛和学习资源。
二、模型偏差
模型偏差可能会影响模型训练,所以如果模型的灵活性不够大,可以增加更多特征,可以设一个更大的模型,可以用深度学习来增加模型的灵活性,这是第一个可以的解法。
三、优化问题
但是并不是训练的时候,损失大就代表一定是模型偏差,可能会遇到另外一个问题:优化做得不好。
一个建议判断模型偏差或者优化问题的方法,通过比较不同的模型来判断模型现在到底够不够大。
并不是所有的结果不好,都叫做过拟合。
在训练集上,20 层的网络损失其实是比较低的,56 层的网络损失是比较高的,如图 2.4(b) 所示,这代表 56 层的网络的优化没有做好,它的优化不给力。
这边给大家的建议是看到一个从来没有做过的问题,可以先跑一些比较小的、比较浅的网络,或甚至用一些非深度学习的方法,比如线性模型、支持向量机(Support Vector Machine,SVM),SVM 可能是比较容易做优化的,它们比较不会有优化失败的问题。
三、过拟合
为什么会有过拟合这样的情况呢?
如果模型它的自由度很大的话,它可以产生非常奇怪的曲线,导致训练集上的结果好,但是测试集上的损失很大。
怎么解决过拟合的问题呢,有两个可能的方向:
增加训练集
可以做数据增强(data augmentation,),这个方法并不算是使用了额外的数据。
给模型一些限制
全连接网络(fully-connected network)其实是一个比较有灵活性的架构,而卷积神经网络(Convolutional Neural Network,CNN)是一个比较有限制的架构。
-
给模型比较少的参数。如果是深度学习的话,就给它比较少的神经元的数量。
-
或者用比较少的特征,本来给 3 天的数据,改成用给两天的数据,其实结果就好了一些。
-
还有别的方法,比如早停(early stopping)、正则化(regularization)和丢弃法(dropoutmethod)。
随着模型越来越复杂,训练损失可以越来越低,但测试时,当模型越来越复杂的时候,刚开始,测试损失会跟著下降,但是当复杂的程度,超过某一个程度以后,测试损失就会突然暴增了。
可以选一个中庸的模型,不是太复杂的,也不是太简单的,刚刚好可以在训练集上损失最低,测试损失最低。
四、交叉验证
比较合理选择模型的方法是把训练的数据分成两半,一部分称为训练集(training set),一部分是验证集(validation set)。
其实最好的做法,就是用验证损失,最小的直接挑就好了,不要管公开测试集的结果。在实现上,不太可能这么做,因为公开数据集的结果对模型的选择,可能还是会有些影响的。
理想上就用验证集挑就好,有过比较好的基线(baseline)算法以后,就不要再去动它了,就可以避免在测试集上面过拟合。
五、不匹配
真实曲线与预测曲线之间出现反常情况,这种错误的形式称为不匹配。
不匹配跟过拟合其实不同,一般的过拟合可以用搜集更多的数据来克服,但是不匹配是指训练集跟测试集的分布不同,训练集再增加其实也没有帮助了。
总结
《深度学习详解》的前两章到此就顺利看完了,本质上是对李宏毅老师《机器学习》课程的一个口语化文字记录,非常通俗易懂,后面还有更加有意思的内容。