huggingface
文章平均质量分 65
菜比
这个作者很懒,什么都没留下…
展开
-
Huggingface transformer的Trainer中data_collator的使用
什么时候使用由Transformers Trainer的文档中可知,Trainer函数有一个参数data_collator,其值也为一个函数,用于从一个list of elements来构造一个batch。这个函数其实就是torch.utils.data.DataLoader中的collate_fn。如果还不知道collate_fn是做何用处,请参考这篇文档。要用到这个函数,要符合如下两个条件:Trainer的参数train_dataset或eval_dataset是torch.utils.data原创 2021-12-02 20:42:16 · 8820 阅读 · 6 评论 -
Huggingface填坑:Unexpected key(s) in state_dict: “roberta.pooler.dense.weight“....
在加载已经训练好的模型时,出现问题如下:RuntimeError: Error(s) in loading state_dict for RobertaForSequenceClassification: Unexpected key(s) in state_dict: "roberta.pooler.dense.weight", "roberta.pooler.dense.bias".先说原因版本问题!在huggingface3.1.0中,roberta相关模型的实现是11层tr原创 2021-10-23 17:20:14 · 2502 阅读 · 2 评论