机器学习任务攻略（李宏毅机器学习课程笔记3）

想要做的更好的办法：

一.loss大的原因

1. model bias

出现model bias的原因：模型太简单，可以让loss变低的函数不在model变低的范围内。

解决办法：重新设计你的model，增加更多的特征，增加更多层和神经元。

2.优化问题

model里面描述了，可以使loss最小的，但是因为局部最低点，没找出来。

3.分辨究竟是，model bias还是优化的问题

        先训练一个简单的，浅的模型，看它的loss的程度，如果复杂的模型的loss还达不到简单的的模型的loss那就是优化的问题。

二.训练集的loss小，测试集的loss大

1.over fitting

        因为模型的弹性很大，在没有经过训练资料训练的地方，可能会有freestyle，再把测试集放进去之后就会有很大的loss。

解决办法1：增加训练资料。

解决办法2：限制模型，别让它有太大的弹性。

限制模型的办法：

三.如何选择好的model

        要注重验证集的分数，少看public test setting，可以把训练集分成n份，然后去除一部分当成验证集。