李宏毅-L01_regress

回归

1 过拟合

在训练数据拟合的很好但是在测试数据上拟合的很差

2 正则化

2.1 加入λ等项是为了选择损失小的函数的同时也尽量选择w小的函数，这样做使得选择得函数尽可能得平滑，从而对噪音不敏感。

2.2 平滑:当有噪音时，平滑的函数,w小，从而w * 值比较小，对结果的影响比较小，这就是平滑的作用

2.3 λ越大，考虑训练数据的误差越少，越平滑;但是我们也不是选择越平滑的越好，而是适度，如下图:

2.4 λ等项中不包含b的原因是b只会影响函数的偏移量不会影响函数的平滑度。

3 bias和variance

偏差和方差

偏差越小距离期望越近;方差越小，样本点越集中

偏差越小越可能会过拟合；越大越可能欠拟合

偏差大->欠拟合->增加特征(模型变复杂)

方差大->过拟合->1.增加数据(成本增加) 2.正则化（强迫平滑，但是可能是bias增加）

4 交叉验证

数据集分为训练数据和测试数据，将训练数据集又分为训练数据(训练模型)和验证数据(验证模型好坏)

k-交叉验证

选择err最小的model再完整的训练集上训练一遍,得到新的model即为结果，然后去test集上跑一遍

原则就是尽可能少的根据测试集去调整模型，这样得到的模型比较好