2022-02-13 机器学习基本概念

Basic Concept

1、Bias（偏移量）和Variance（方差）：

Bias： 所有点的平均值f*与目标值f的距离。（较复杂的Model Bias较小，但数据训练时可能会出现overfitting情况）
Variance： 所有点的散落程度，越小说明点越聚集，越大越发散。（简单的Model Variance较小，因为简单的Model幂次小，不太受数据波动的影响）

Overfitting：Model的error（误差）来自于variance太大。
Underfitting：Model的error（误差）来自于bias太大。

Regularization（正则化）：很多不同情况中同一个例子组成的函数图像可能会比较杂乱，因为每个情况的不定因素有很多，这时候可以用Regularization的方法使曲线变平滑些。