预训练和微调

• 所谓预训练，其实就是已经提前训练好的模型。比如，你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，你就可以将训练模型的参数保存下来，以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是 pre-training。
• 之后，你又接收到一个类似的图像分类的任务。这时候，你可以直接使用之前保存下来的模型的参数来作为这一任务的初始化参数，然后在训练的过程中，依据结果不断进行一些修改。这时候，你使用的就是一个 pre-trained 模型，而过程就是 微调（fine tuning）。
• 补充一下！还有一种无监督逐层预训练，是Hinton在很早的时候提出的，用于设置深层神经网络的参数的，现在已经基本废弃了，不要与这种预训练搞混了！
• 预训练还比较好理解，微调其实也比较好理解，往往无法直接把预训练的模型拿过来用，预训练模型和自己的任务还不太相同，那怎么办才能利用这个模型呢？当然是对其中的参数进行调整啊，对于预训练的模型的参数的调整就是微调。
• 如此一来，其实微调的过程就是训练的过程，微调就是训练，只不过微调只需要轻微改动，训练则需要对于随机初始化的参数进行大规模的改动，之所以存在如此区别，是因为微调使用了预训练的模型，参数是比较合适的，只不过需要根据自己的任务目标来进行轻微的改动，故称微调。