大模型初学之finetune的一个小example
以下这段代码中的微调(Fine-tuning)主要体现在以下几个方面(gpt生成,正确性未考证): 加载预训练模型:代码中的 model 通常是在像ImageNet这样的大型数据集上预先训练过的。微调通常涉及到在更小的、特定任务的数据集上进行较短时间的训练。修改最后的层:对于微调,我们通常会替换预训练模型的最后一层(或几层),以适应我们的特定任务(例如改变输出类的数量)。的层(可选):有时,在微调中,模型的早期层会被冻结,只有新添加的该项目中,只有最后一个全连接层没有被冻结。
原创
2024-01-10 01:01:34 ·
498 阅读 ·
0 评论