01

基础理论
bias-variance tradeoff（偏差和方差的权衡）

    对于线性回归，目标方程式可以写作：

    对y的估计可以写成：

   就是对自变量和因变量之间的关系进行的估计。一般来说，我们无法得到自变量和因变量之间的真实关系f(x)。对其之间的关系进行假设，由于存在误差，所以无法得到真正的关系。
   通常情况下会使用一组训练数据，使用某个算法进行学习，然后学得一个模型，这个模型使损失函数最小。

           损失函数为：

    由于模型需要有泛化能力，也就是说需要模型在所有数据上都表现的良好。假设具有全部的数据，将这些数据分成N组，将这N组数据在模型上进行测试，就会得到N个不同的损失函数，如果这些损失函数的平均值最小，也就是真实数值和估计数值之间的差的平方的期望值最小，那么该模型就是理想模型。
    所以真实数值和估计数值之间的差的平方的期望值公式如下：    

       

       

bias（偏差）
偏差是指由于错误的假设导致的误差，比如说我们假设有一个自变量能影响因变量，但其实有三个；又比如我们假设自变量和因变量之间是县西宫关系，但其实是非线性关系。其描述的是期望估计值和真实规律之间的差异。

variance（方差）
方差是指通过N组训练数据学习拟合出来的结果之间的差异。其描述的是估计值与平局估计值之间差异平方的期望。