liu907011628的博客

原创 为什么预训练模型只要FT或者PT就效果很好

在我看来，说白了还是这种预训练模型已经见过了各种各样组够多的数据，我们去FT和PT其实就是在告诉模型我想利用如何利用你，我需要你给我做出什么样子的回答。尤其是PT这种模型，为什么few-shot和zero-shot就能起作用，其实就是模型本身已经见过组够多的数据了，我们只需要几个样本告诉他我们需要的是什么就够了。说到底如果想做出好的效果，大的预训练模型是一定要有的，因为目前来讲的机器学习和深度学习的模型都是需要样本训练，往往样本越多效果就越好，显然BERT、GPT3这种大模型见过的数据和我们自己组建模型所.