Trainer中的训练细节之自动评估

我在使用alighment进行模型训练的时候,发现有一个模型在最后的训练部分总是会出现下面的一些问题:
在这里插入图片描述
我已经将评估部分进行了注释,为什么还是需要evaluation dataset呢?
我仔细阅读了文档,发现了如下的问题:
1.首先在代码中,使用如下的代码进行参数解析(不用看具体是什么意思)
在这里插入图片描述
从上面的代码可以看到,SFTConfig是被解析为training_args的。在配置文件中可以看到两个和评估相关的参数在这里插入图片描述
大胆的猜测和上面的参数相关。
找到代码中的SFTTrainer的代码如下:
在这里插入图片描述
代码将args = training_args传入了(training_args正是和eval相关的参数)。
打开huggingface的SFTTrainer文档,https://huggingface.co/docs/trl/v0.8.6/en/trainer#trl.SFTTrainer
在这里插入图片描述
找到args参数,点进去
在这里插入图片描述
正好找到了关于这两个参数的描述。do_eval来判断是否需要进行eval,evaluation_strategy表示eval的策略,其中evaluation_strategy的优先度更高(即if evaluation_strategy != no 的时候,do_eval = False无法生效,也会别强制进行eval。)后面在配置文件中改成do_eval:Flase,eval_strategy=no,也无效,最好的方法是直接将两者注释掉这样的话也不会进行评估。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值