预训练方法中基于特征的方法和基于微调的方法本质区别在哪里？

基于特征的方法是将BERT作为一个编码器，将输入的文本处理为特征向量。特征向量作为下游任务的输入，在训练过程中只针对后面的分类模型，BERT的输出仅仅是作为分类模型的输入特征。
特征提取是使用训练好的模型对新的数据生成特征向量，让后将特征作为task-specific模型的输入，训练新的task-specific模型参数。

基于微调的方法是在已经训练好的结构上，在当前任务的数据上进行训练，对部分网络层进行微调，让模型更加适合当前任务。
微调方法能充分利用深度学习神经网络强大的泛化能力，避免了设计新的模型，无需从头开始训练，能达到更快的收敛速度和更好的效果。

二者之间最主要的区别在于原始模型的参数是否会随着新数据的加入而进行调整。