- 博客(9)
- 收藏
- 关注
原创 【peft】用peft调大模型,加载checkpoint失败,报ValueError: Can‘t find a valid checkpoint at
然后报错:raise ValueError(f"Can't find a valid checkpoint at {resume_from_checkpoint}")ValueError: Can't find a valid checkpoint at checkpoint目录。解决,新建一个Trainer子类,子类里重写了加载检查点的函数,调用时用这个子类来创建trainer对象。就是_load_from_checkpoint有点问题。
2023-07-26 13:22:45 1301 2
原创 【LoRa】【BLOOMZ】用peft训练bloomz保存检查点,保存和加载的权重不一致???adapter_model.bin只有4kb???
能看到检查点中adapter_model.bin只有4kb,这明显什么都没有保存。,训练了1轮后发现,结果没有任何变化,用几个检查点做了测试结果也是没有任何变化。最近用peft的lora对bloomz做训练,参考的。都是解决保存和加载不一致的问题。但最终,我的解决办法是把。有两篇帖子能作为参考。
2023-07-16 15:59:17 519 1
原创 【机器翻译】【数据集】WMT2022的第一个生物医药训练集获得
解决langdetect.lang_detect_exception.LangDetectException: No features in text.
2022-09-29 17:57:26 250
原创 【机器翻译】Fairseq常用checkpoint相关训练参数
-eval-bleu-remove-bpe sentencepiece 不适合目标端为中文。--patience x个epoch后不再出现checkpoint_best训练终止。--eval-bleu-detok moses 不适合目标端为中文。目标端为中文可以使用sacremoses生成bleu的待测文档。--finetune-from-model 迁移学习可以用。sacremoses的效果。
2022-09-20 10:41:28 896
原创 报错:AttributeError: module ‘omegaconf._utils‘ has no attribute ‘is_primitive_type‘
报错:AttributeError: module 'omegaconf._utils' has no attribute 'is_primitive_type'
2022-09-15 14:40:26 1515
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人