Datawhale X 李宏毅苹果书 AI夏令营 机器学习入门 Task 3

第 2 章 实践方法论

2.1 模型偏差

例子：假设模型过于简单，一个有未知参数的函数，带入不同参数，得到不同函数，把所有的函数集合起来得到一个函数的集合。但是该函数的集合太小了，没有包含任何一个函数，可以让损失变低的函数不在模型可以描述的范围内。

2.2 优化问题 

书中讨论了使用梯度下降法进行优化时可能遇到的问题，特别是当优化过程陷入局部最小值或未能找到具有足够低损失的模型参数时。尽管模型中可能存在一些损失较低的函数，但梯度下降方法可能无法有效地找到它们。

即使模型具有足够的灵活性，也可能由于优化不足而无法找到低损失的解。

使用梯度下降等方法可能会陷入局部最小值，无法达到全局最优解。

评估模型优化状况的一种方式是通过对比不同大小的模型，如20层与56层的网络，若更深的网络未能在训练集上获得更低的损失，则表明优化存在问题。

 

2.3 过拟合 

原因：Model弹性很大，在有资料的点位会通过，但在没有资料的点位会有很多误差

解决过拟合的方法包括增加训练数据量、数据增强、减少模型参数数量、使用特定架构如卷积神经网络（CNN）以及采用正则化技术等。 

 

2.4 交叉验证 

把training的资料分成两份，用validation set挑选model，此时在public set上面的结果就可以反映在private set上的结果

 2.5 不匹配 

训练集和测试集的分布不同，训练集再增加也没有帮助了。