- 博客(9)
- 收藏
- 关注
RSS订阅原创 【peft】用peft调大模型，加载checkpoint失败，报ValueError: Can‘t find a valid checkpoint at
然后报错：raise ValueError(f"Can't find a valid checkpoint at {resume_from_checkpoint}")ValueError: Can't find a valid checkpoint at checkpoint目录。解决，新建一个Trainer子类，子类里重写了加载检查点的函数，调用时用这个子类来创建trainer对象。就是_load_from_checkpoint有点问题。
2023-07-26 13:22:45
1265
2
原创 【LoRa】【BLOOMZ】用peft训练bloomz保存检查点，保存和加载的权重不一致？？？adapter_model.bin只有4kb？？？
能看到检查点中adapter_model.bin只有4kb，这明显什么都没有保存。，训练了1轮后发现，结果没有任何变化，用几个检查点做了测试结果也是没有任何变化。最近用peft的lora对bloomz做训练，参考的。都是解决保存和加载不一致的问题。但最终，我的解决办法是把。有两篇帖子能作为参考。
2023-07-16 15:59:17
510
1
原创 【机器翻译】【数据集】WMT2022的第一个生物医药训练集获得
解决langdetect.lang_detect_exception.LangDetectException: No features in text.
2022-09-29 17:57:26
245
原创 【机器翻译】Fairseq常用checkpoint相关训练参数
-eval-bleu-remove-bpe sentencepiece 不适合目标端为中文。--patience x个epoch后不再出现checkpoint_best训练终止。--eval-bleu-detok moses 不适合目标端为中文。目标端为中文可以使用sacremoses生成bleu的待测文档。--finetune-from-model 迁移学习可以用。sacremoses的效果。
2022-09-20 10:41:28
885
原创 报错：AttributeError: module ‘omegaconf._utils‘ has no attribute ‘is_primitive_type‘
报错：AttributeError: module 'omegaconf._utils' has no attribute 'is_primitive_type'
2022-09-15 14:40:26
1479
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人