一些离谱的error
苏炘
在读研究生
展开
-
Huggingface报错
data_collator要对dataset中的所有列做填充,对于input_ids, attention_mask, labels 模型知道如何pad(因为他们是列表或者张量),但是对于text和label来说,他们是字符串,模型不知道该怎么填充。原创 2024-03-07 14:35:39 · 914 阅读 · 0 评论 -
transformers Trainer自定义optimizer和scheduler
我自定义了一个evaluate方法,想在每一轮训练过后都执行一次。如果只是在TrainingArguments里设置warmup_steps=100,那么每轮都会重置学习率,可以通过自定义optimizers的方法来解决原创 2024-01-03 16:57:42 · 1317 阅读 · 0 评论 -
huggingface中Trainer设置了compute_metric后爆显存
我使用huggingface的Trainer,利用Lora微调Llama2模型,在我设置了compute_metrics属性后,出现Out of memory。原创 2023-12-25 14:11:41 · 1814 阅读 · 0 评论 -
from_pretrained模型权重无法复制
如果我们让一个类继承了PretrainedModel,并对它调用from_pretrained方法,它的权重是在构造方法(__init__)方法执行过后才赋给了相应的模块,所以如果我们试图在构造方法里面获取某部分的权重,则只会得到一个随机权重。则会发现并没有成功复制,而是获得了一个随机初始化的权重。如果想要成功复制,则需要在执行过from_pretrained后才进行调用。原创 2023-09-25 14:23:54 · 217 阅读 · 0 评论 -
pycharm 没有project mapping
原因是新版的pycharm将设置mapping的地方放到了添加Interpreter里面。点击Add Interpreter选项。Sync folders极为路径映射。原创 2023-09-14 13:24:26 · 319 阅读 · 0 评论 -
pytorch中batch_size不起作用且会固定为某个值
奇怪的batch size修改了之后没有用,一个batch大小固定为某个值的bug原创 2023-08-29 15:10:18 · 150 阅读 · 0 评论 -
论文笔记——EMPATHETIC RESPONSE GENERATION VIA EMOTION CAUSE TRANSITION GRAPH
该论文发表在ICASSP,即International Conference on Acoustics, Speech and Signal Processing,是IEEE名下的,很明显这并不是一个做文本的学术会议总体评价是:这不是一篇好的论文,只能是说思路可以看,但细节完全不忍直视。原创 2023-03-01 12:31:16 · 300 阅读 · 1 评论 -
Assertion `index >= -sizes[i] && index < sizes[i] && “index out of bounds“` failed.
operator(): block: [0,0,0], thread: [5,0,0] Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed.的一种解决方案原创 2023-07-01 20:52:51 · 901 阅读 · 0 评论