在微调bert做微调的时候,想着试一下中间层输出进行分类,以及结合bert某几层的输出做分类。
一开始搜索到有博客说使用bert的pytorch版本可以非常容易获取某一层的输出,就想看一下源码里面最后一层
model.get_sequence_output()怎么获取的,发现了是先获取bert每一层的输出,然后取了最后一层。那问题就好弄了,
直接使用下面函数获取所有层的输出,然后取某一行进行后续操作即可
all_layer_output = model.get_all_encoder_layers()