LLM-微调-全参数微调：Full-Param Fine-tuning（100% parameters）

fine-tuning的过程就是用训练好的参数（从已训练好的模型中获得）初始化自己的网络，然后用自己的数据接着训练，参数的调整方法与from scratch训练过程一样（梯度下降）。对于初始化过程，我们可以称自己的网络为目标网络，训练好的模型对应网络为源网络，要求目标网络待初始化的层要与源网络的层相同（层的名字、类型以及层的设置参数等等均相同）。

fine-tuning已经成为了使用DL网络的一个常用技巧（trick）。使用深度网络做图像处理任务时，使用一个在大的数据集上预训练好的模型在自己数据上微调往往可以得到比直接用自己数据训练更好的效果，这是因为在imagenet上预训练的模型参数从微调一开始就处于一个较好的位置，这样微调能够更快的使网络收敛。对于相同类别的任务我们可以默认这样去做比较好。然而当我们要做一个不同的任务，那么可能直接拿预训练的模型进行微调就不是最好的了。

一般我们在训练from scratch的时候往往要在一些超大型的数据集上训练，一个目的是为了让训练得到的特征（尤其是底层特征）更加多样。而从generative pre-training（生成式预训练）到discriminative fine-tuning（判别微调）的过程是一个对泛化特征进行面向任务的特化的过程。首先，如果你将底层特征可视化出来，