BERT fine-tune,loss不下降,训不动,固定分类到一类

语料应该没问题,不restore任何东西的话,都有效果。
模型换成google官方bert,分类器代码不变,没问题。

解决方案

bert_output = bert_model.get_pooled_output()

改为

bert_output = tf.reduce_mean(bert_model.get_sequence_output()[:,1:,:],1)
©️2020 CSDN 皮肤主题: 创作都市 设计师:CSDN官方博客 返回首页