- 博客(2)
- 收藏
- 关注
RSS订阅原创 【快速解决】UserWarning: Plan failed with a cudnnException: CUDNN_BACKEND_EXECUTION_PLAN_DESCRIPTOR
在代码最前面加上这一行代码，也就是禁用cudnn，这样可能会损失性能，但大概率可以解决此问题。
2024-07-25 15:24:20
192
原创 Lora微调Yi-6B第一个step后loss突变为0
由于模型学习的是回答问题，不需要去拟合问题的语言，所以我们只计算responce部分的loss，而不计算prompt的部分的loss。1. 查看label的设置，通常在dataloader的data_collator参数中会有涉及，将label设为-100的地方去掉（这里说的是自己设置的-100，hugging face中的函数会将特殊token mask掉，这个不用去掉）哪怕在一个样本中，模型的输出和训练集的结果完全一致几乎不可能。在微调大语言模型的时候，loss是我们判断模型训练效果的一大重要指标。
2024-07-07 20:02:26
280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人