误差要分清楚是什么的误差,训练集的误差还是测试的误差:
训练集的误差:
原因:欠拟合来自偏差
解决方法:减少偏差》增大模型复杂度(相当于模型集合更大了,更能涵盖目标函数)
测试集的误差:
原因:过拟合来自方差
解决办法:减少方差》增大数据集(数据集大平均化更加平滑)、引入正则项(对数据的敏感下降,参数更加平滑)
数据集扩增有很多办法,针对不同场景有图像的反转,语音的变声,文字的翻译回译,多折交叉验证等
参数的梯度跟数据集和参数本身都有关
偏差和方差的图示,Bias和Variance
极限的假设
欠拟合和过拟合的状态
针对偏差更多的特征,更复杂的模型
针对方差更多的数据和正则项
测试集分公开版本和比较隐私的版本,可以自己构造公共版本,把手上的公共版本变成隐私版本,看最终上线的效果。
偏差和方差的平衡,减小总的误差。