误差来自哪里

Bias和Variance

Bias类似正态分布中的均值，Variance类似正态分布中的方差。Variance会随着数据量的增大而减小。当构造的函数比较简单时，Variance比较小，Bias比较大，反之亦然，随着数据量的增加，Bias会逐渐减小，Variance会先减小后增大，因为存在过拟合的问题，如图所示

因此，如果在训练数据上表现不好，有可能是Bias过大造成的欠拟合的问题，可以通过增大数据量来解决问题，另外，如果在训练数据上表现得很好，反倒在测试数据上表现的不好，这是由于Variance过大造成的过拟合的问题，因该想办法降低拟合程度，比如说正则化，另外我们也可以通过交叉验证取平均值来避免这种现象