机器学习需要的数据量需要怎么算

“机器学习需要的数据量需要怎么算”

这个问题经常让不少开发者非常苦恼。实际上，这个问题回答起来比看上去要复杂的多，因为其中要涉及到很多因素，比如你使用的模型类型，模型在实际业务中的用途等等。下面我们看看围绕需要多少训练数据出现的痛点，然后探讨针对自己的项目需要多少训练数据。

为何很难预估你的数据集大小？确定目标数据量的许多困难源于训练过程的目标。有很多文章都讲到了模型训练过程的工作原理，但要记住，我们训练的目的是构建一个能理解数据背后模式和关系的模型，而不仅仅是理解数据本身。收集数据时，我们需要确保所拥有的数据数量能教会算法数据中的关系，以及数据和结果之间的关系。

这看起来很容易预测。但实际上机器学习项目的目标多种多样，可以产生大量的训练数据类型。因此，每个项目都有各自独特的多种因素，这使得提前计算数据需求变得非常困难，可能包括以下部分或全部内容：模型的复杂度：模型为完成任务而必须考虑的每个参数都会增加训练所需的数据量。例如，用于识别特定汽车品牌的模型具有少量的参数，主要与车辆的形状相关。而如果是一个必须从长远考虑汽车成本的模型，不仅要顾及到包括汽车品牌和状况的因素，还有经济和社会因素。由于这种复杂程度更高，第二个模型需要比第一个模型更多的数据。训练方法：由于模型必须理解更多的互连参数，由此导致的复杂性使得训练模型的方式也被迫发生改变。传统的机器学习算法使用结构化学习，这意味着它们很快就会出现附加数据投入产出比很低的情况。相反，深度学习模型可以找出自己的参数，并学习如何在没有结构的情况下进行改进。这意味着它们不仅需要更多的数据，而且还有更长的学习曲线，其中进一步增加数据具有积极的影响。因此，你使用的训练方法会