fine-tun有两种形式,google官网给出的run_classifier.py示例,是利用行业数据对bert的所有参数做微调。将text_a和text_b串接,最后层做一个二分类。
而另一种形式,是exact_featrue.py,保存bert特征作为输入,训练自己的较浅的神经网络模型。
google文献说fine-tune 所有参数的效果优于调整最后若干层。实验结果展示效果相近(个人认为我第二种方法额外添加层数较多相关)。
基于bert BERT 的中文问答系统谈fine-tune
最新推荐文章于 2024-05-28 16:42:32 发布