基础理论
bias-variance tradeoff(偏差和方差的权衡)
对于线性回归,目标方程式可以写作:
对y的估计可以写成:
就是对自变量和因变量之间的关系进行的估计。一般来说,我们无法得到自变量和因变量之间的真实关系f(x)。对其之间的关系进行假设,由于存在误差,所以无法得到真正的关系。
通常情况下会使用一组训练数据,使用某个算法进行学习,然后学得一个模型,这个模型使损失函数最小。
损失函数为:
由于模型需要有泛化能力,也就是说需要模型在所有数据上都表现的良好。假设具有全部的数据,将这些数据分成N组,将这N组数据在模型上进行测试,就会得到N个不同的损失函数,如果这些损失函数的平均值最小,也就是真实数值和估计数值之间的差的平方的期望值最小,那么该模型就是理想模型。
所以真实数值和估计数值之间的差的平方的期望值公式如下:
bias(偏差)
偏差是指由于错误的假设导致的误差,比如说我们假设有一个自变量能影响因变量,但其实有三个;又比如我们假设自变量和因变量之间是县西宫关系,但其实是非线性关系。其描述的是期望估计值和真实规律之间的差异。
variance(方差)
方差是指通过N组训练数据学习拟合出来的结果之间的差异。其描述的是估计值与平局估计值之间差异平方的期望。