理解机器学习中的偏差和方差对于模型性能至关重要。偏差表示模型预测与真实结果的偏离程度，而方差则衡量模型对训练数据变化的敏感性。当模型过于复杂时，方差增大，容易过拟合，即在训练集上表现好，测试集上表现差；反之，模型简单可能导致欠拟合，训练集和测试集表现都不理想。解决方法包括调整模型复杂度、增加数据、正则化等。避免用测试集选择最佳模型，而应使用验证集，如K折交叉验证。
Bias：偏差
Variance：方差
Loss=bias+variance
模型越复杂，方差越大，偏差越小
模型越简单，方差越小，偏差越大
怎么判断是过拟合还是欠拟合？是方差大还是偏差大？
假如在训练集上拟合的不好就是欠拟合（偏差大）
假如在训练集上表现不错，但是在测试集表现不咋样，那就是过拟合（方差大）
假如是欠拟合，可以选择增加一些特征或者选择更复杂的模型
假如是过拟合，可以选择 使用更多的数据（数据增强），regularization，剪枝等等
所以需要平衡这两个误差，使得total error最小
不应该做的事：
用训练集训练出很多模型，然后用test set来衡量模型性能，因为test set本身也具有bias，使用其来寻找best model也会有误差，因此需要使用validation set，建议使用K折交叉验证（太麻烦）
扫一扫
1069
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
