机器学习模型的偏差与方差

机器学习的方差与偏差

方差与偏差，总是迷迷糊糊的，每次看了就会，过了就忘。今天看到一个非常棒的解释，迫不及待马上整理下来了。

机器学习的目标函数

机器学习模型学习的是数据集的条件概率分布，得到一个决策函数。整个学习过程围绕着最小化（或者最大化）目标函数进行优化参数，目标函数的通常形式的定义是：

Obj = L(θ) + λΩ(θ)

L(θ) 是损失函数，衡量模型对训练集拟合程度的好坏(对应偏差)；

Ω(θ) 是正则项，是衡量模型的复杂程度（对应方差）；

目标函数定义为损失函数和正则项两部分，是为了平衡模型的偏差和方差（Bias Variance Trade-off）。