预训练与微调

随机初始化模型参数，然后开始训练网络，不断调整参数使得损失函数越来越小，在这个过程中，当你觉得结满意的时候将参数保存下来。

之后，你如果需要进行一个类似的任务，就将之前保存的模型参数作为这个新任务的初始化参数，然后再进行调参，由于此时的调整只是一些微小的调整了，所以叫作微调fine-tuning（将预训练过的模型作用于自己的数据集，使参数适应自己的数据集）。

总结：也就是说，预训练就是不再对模型参数进行随机初始化，而是用预训练得到的参数进行初始化

实际上，很少有人直接从头训练一个网络，因为自己一般不可能拥有一个足够大的数据集，可能只有几百张，几千张，不可能像ImageNet那样有120万张那样的规模，所以一般都是先在大数据集上进行预训练，然后将这套参数对模型进行参数初始化，然后再放到我们的数据集上进行微调。