task3

task3

误差

• Error主要有两个来源，分别是 bias 和 variance

• 首先 Error = Bias + VarianceError反映的是整个模型的准确度，Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。

• 举一个例子，一次打靶实验，目标是为了打到10环，但是实际上只打到了7环，那么这里面的Error就是3。具体分析打到7环的原因，可能有两方面：一是瞄准出了问题，比如实际上射击瞄准的是9环而不是10环；二是枪本身的稳定性有问题，虽然瞄准的是9环，但是只打到了7环。那么在上面一次射击实验，Bias就是1,反应的是模型期望与真实目标的差距，而在这次试验中，由于Variance所带来的误差就是2，即虽然瞄准的是9环，但由于本身模型缺乏稳定性，造成了实际结果与模型期望之间的差距。

• 在一个实际系统中，Bias与Variance往往是不能兼得的。如果要降低模型的Bias，就一定程度上会提高模型的Variance，反之亦然。造成这种现象的根本原因是，我们总是希望试图用有限训练样本去估计无限的真实数据。当我们更加相信这些数据的真实性，而忽视对模型的先验知识，就会尽量保证模型在训练样本上的准确度，这样可以减少模型的Bias。但是，这样学习到的模型，很可能会失去一定的泛化能力，从而造成过拟合，降低模型在真实数据上的表现，增加模型的不确定性。相反，如果更加相信我们对于模型的先验知识，在学习模型的过程中对模型增加更多的限制，就可以降低模型的variance，提高模型的稳定性，但也会使模型的Bias增大。Bias与Variance两者之间的trade-off是机器学习的基本主题之一，机会可以在各种机器模型中发现它的影子。
  

• hign bias low variance场景，意味着无论什么数据灌进来，拟合的模型差不多，这个模型简陋，参数少，这就是欠拟合。

• high variance low bias场景，意味着拟合模型围绕correct target均匀分布，但不够集中 ，灌进来的数据一旦有风吹草动，拟合模型就剧烈变化，这说明模型过于复杂，不具有普适性，就是过拟合。

估测变量x的偏差和方差

• 无偏估计（unbiased）：E[m]=E[N1∑xn]=N1n∑E[xn]=μ

• 然后 mmm 分布对于 μ\muμ 的离散程度（方差）：

  Var[m]=σ2NVar[m]=\frac{\sigma^2}{N}Var[m]=Nσ2

分析

• 如果模型没有很好的训练训练集，就是偏差过大，也就是欠拟合
• 如果模型很好的训练训练集，即再训练集上得到很小的错误，但在测试集上得到大的错误，这意味着模型可能是方差比较大，就是过拟合

偏差大—欠拟合

此时应该重新设计模型。因为之前的函数集里面可能根本没有包含f∗f^*f∗。可以：

将更多的函数加进去

方差大—过拟合

• 更多的数据

• 可以针对对问题的理解对数据集做调整

梯度下降

• 调整学习速率
• 随机梯度下降法
  对数据集做调整

梯度下降

• 调整学习速率
• 随机梯度下降法
• 特征缩放