①Bias(偏差):是各次的预测曲线的平均曲线,与真值曲线,对应各点的
差的平均
。
②Variance(方差或变异数): 是资料的离散程度
。是各次的预测曲线,与平均曲线,对应各点的差的平方的平均
。
假设每次拟合用的样本数量恒定,分多批样本分批次进行拟合。
拟合批次(曲线)越多,平均曲线 越接近真实。
模型越复杂,拟合曲线间的Variance越大(越离散),拟合曲线的平均曲线与真值曲线间的Bias越小;
模型越简单,拟合曲线间的Variance越小(越聚合),拟合曲线的平均曲线与真值曲线间的Bias越大。
样本数量
越多
,Variance越小
。模型越
简单
,Variance越小
。
模型越
复杂
,Bias越小
。
Bias比较大的时候:
你就应该redesign你的model。
重新定制你的模型。不限于分类,或者增加feature、指数级。。。
这时增加样本是没用的。不要说 你去collet更多data。
Variance比较大的时候:
①collect更多的data,这样做不会伤害到你的bias。
②Regularization:在Loss function后面添加那个term。这样曲线会变平滑,这样做可能会伤害到你的bias。
给你traning data的时候,你要怎么做: