12 机器学习系统 机器学习数据

训练数据量决定效果上限：有的时候，使用什么算法并无关紧要，关键是使用了多大的数据量进行训练。如下图所示的nlp预测场景，四种算法随着训练数据量的增加，其准确率相应增加。而不同算法尽管有一些差异，但远没有数据量的影响那么大。

除了训练数据量是否足够，另一个重要方面是特征信息是否充分。
一个有用的测试是：在给定的特征之下，人类专家能否有信心给出正确的预测？如果可以，那说明我们提供的特征信息足够充分；否则，说明我们提供的特征数据不够。特征信息充分，模型才可能做出正确预测；不充分，人类都无法做出正确预测，则大概率模型也不可能做出正确预测。

当我们使用足够复杂的模型（比如：有很多特征的lr或者有很多隐藏层的神经网络），bias通常来说就能控制到比较小的程度。
当训练数据量很小甚至小于模型参数量时，此时模型容易发生过拟合，模型的方差会比较大。而当训练数据量远大于模型参数量时，此时模型不易发生过拟合，模型的方差会比较小。
所以方差大并不是针对算法而言，算法无所谓方差大或方差小。方差描述的是在特定数据集下训练出来的模型的变异性，也就是数据中的噪点对于模型稳定性的影响。这个影响越小则方差越小，影响越大则方差越大。数据量大时，模型的方差更可能会比较小；数据量太小时，模型的方差可能会很大，此时任何一个数据点对于模型参数的影响都非常巨大。