深度学习入门———Task03——2.实践方法论#datawhale

写在前面

这个是datawhale2024年度的第五期夏令营深度学习入门方向的task03的笔记，与各位朋友们共勉

笔记部分

这节课讲的是我们根据前两节课所学知识，遇到一些情况该如何处理。在这里，李宏毅老师给出了一个很好的思维导图：

所以这节课的主线就是从左到右地来讲一下这个思维导图

首先我们对一个模型的好坏的判断很显然是靠这个训练集的损失和测试集的损失来确定的，第一种情况就是说我们测试集的损失过大该怎么办。这个时候老师给出了两种情况，那就是model bias 和optimization.也就是我们写的模型本身的问题和这个优化方法的问题。那么我们来怎么判断究竟是什么问题呢？老师给出了怎么判断是优化问题的思维方式：就是我们这个训练机的Loss并没有随着我们这个层数的变多而变多。我们这个层数是一层一层变多的，而不是说，我一上来就叠个五层十层那样的。然后我们来就loss来做一个比较。model bias一般情况下就是一个比较漫长的调试过程。

接下来我们就来说一下情况比较复杂的右侧

首先，并不是所有的这个训练集效果好测试集效果不好的情况都是过拟合，也有一部分是mismatch，也就是说，这个训练的时候有一些训练集传入了一些比较奇怪的数据。但是就我们一般在网上下载到的数据集而言，大多是过拟合所造成的问题。遇到过拟合的情况一般是怎么形成的呢，一般情况下就是训练集过小，所以我们有两种形式来扩大我们的训练集，第一种就是再去网上找一些，另一个方法就是对原有的训练集做一些合理的变化，而这种做法就叫data argumentation。我们以图片训练集为例：

但是一般不要倒立，因为这种不太合理的变换会给我们的模型传入一些奇奇怪怪的信息导致模型结果不太准确。

李宏毅在这堂课后面的内容跟他们当时的课上作业有关。我们也可以参考一下，就是怎么选择一个最好的模型：

就是我们在上传之前可以将Training Set分成3组或者多组，一组当验证集，另外两组当训练集，这几个集轮流当验证集，将训练完的结果取平均数。

写在后面

这就是笔记的全部内容啦，祝大家学习愉快，谢谢支持！