李宏毅机器学习_误差从何而来_2_1

误差要分清楚是什么的误差，训练集的误差还是测试的误差：
训练集的误差：
原因：欠拟合来自偏差
解决方法：减少偏差》增大模型复杂度（相当于模型集合更大了，更能涵盖目标函数）

测试集的误差：
原因：过拟合来自方差
解决办法：减少方差》增大数据集（数据集大平均化更加平滑）、引入正则项（对数据的敏感下降，参数更加平滑）
数据集扩增有很多办法，针对不同场景有图像的反转，语音的变声，文字的翻译回译，多折交叉验证等
参数的梯度跟数据集和参数本身都有关

偏差和方差的图示，Bias和Variance

极限的假设

欠拟合和过拟合的状态

针对偏差更多的特征，更复杂的模型
针对方差更多的数据和正则项

测试集分公开版本和比较隐私的版本，可以自己构造公共版本，把手上的公共版本变成隐私版本，看最终上线的效果。

偏差和方差的平衡，减小总的误差。