weixin_45718095的博客

原创 博客摘录「 Prompt-Tuning——深度解读一种新的微调范式」2023年5月20日

训练目标：当模型遇见 [mask] token时，则根据学习得到的上下文语义去预测该位置可能的词，因此，训练的目标是对整个词表上的分类任务，可以使用交叉信息熵作为目标函数。