模型调参中的偏差和方差

一、泛化误差

模型的泛化误差可分解为偏差、方差和噪声

偏差：度量模型的预测结果和实际值的偏离程度，即模型预测得准不准；

方差：度量模型在不同数据上的性能差异，即模型稳不稳，

二、模型的偏差和方差之间的关系：此消彼长，当模型的偏差很小时，模型可能存在过拟合的风险，例如树模型在不限制最大树深度的情况下，经常会出现过拟合的情况；

三、调参

对于简单的模型，其复杂度较低，模型的偏差较大，需要降低模型的偏差；

而对于复杂的模型，其复杂度较高，模型的方差较大，需要降低模型的方差；

对于树模型，常做的方法时降低模型的复杂度，来减少模型的方差，例如可以针对树的深度、叶子节点数等进行限制，