Bias和Variance

①Bias(偏差)：是各次的预测曲线的平均曲线，与真值曲线，对应各点的差的平均。
②Variance(方差或变异数): 是资料的离散程度。是各次的预测曲线，与平均曲线，对应各点的差的平方的平均。

假设每次拟合用的样本数量恒定，分多批样本分批次进行拟合。

拟合批次(曲线)越多，平均曲线 越接近真实。

模型越复杂，拟合曲线间的Variance越大(越离散)，拟合曲线的平均曲线与真值曲线间的Bias越小；

模型越简单，拟合曲线间的Variance越小(越聚合)，拟合曲线的平均曲线与真值曲线间的Bias越大。

样本数量越多，Variance越小。

模型越简单，Variance越小。

模型越复杂，Bias越小。

Bias比较大的时候：

你就应该redesign你的model。

重新定制你的模型。不限于分类，或者增加feature、指数级。。。

这时增加样本是没用的。不要说 你去collet更多data。

Variance比较大的时候：

①collect更多的data，这样做不会伤害到你的bias。
②Regularization：在Loss function后面添加那个term。这样曲线会变平滑，这样做可能会伤害到你的bias。

给你traning data的时候，你要怎么做：