浅谈大模型预训练和微调 模型的训练一般情况下分为两个大的阶段: 预训练 通过海量数据数据,训练一个通用大模型,此时大模型具备很多能力 微调 但是通用大模型在某些方面的垂直能力可能还不具备,因此需要用到一些领域的数据或私有化数据对大模型进行改良,这个过程叫做微调 模型微调本身也分为两个比较重要的阶段: SFT(supervise fine tunning)对齐 简单理解大模型预训练和微调的过程