【MMDetection】ERROR:The testing results of the whole dataset is empty

文章讲述了在使用MMdetection复现SwinTransformer论文时遇到的错误——测试结果为空,同时AP、AR等指标为零,F1值为负,loss和grad_norm爆炸。作者排除了数据集问题,推测可能是由于梯度爆炸或消失导致,特别是学习率设置不当。通过将学习率从默认的0.02调整到论文推荐的0.0001,成功解决了问题,使得模型能正常训练。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题描述

使用MMdetection复现论文swin Transformer,显示错误:

ERROR:The testing results of the whole dataset is empty

与此同时,各项评价指标如AP,AR结果趋于零,F1值变成-1,loss与grad_norm爆炸增加,具体情形如下图:

 

问题分析

看到报错的第一眼,猜测可能是数据集的问题,所以检查了数据集的路径,然后检查了数据集里面是否有图片,但经过一番验证,排除了这种可能性。如果数据集本身有问题,代码一开始就无法运行起来,因为mmdet一定会报错,而且报错内容是:找不到数据集或者说找不到某张图片。
再仔细观察报错:ERROR:The testing results of the whole dataset is empty,拿不到测试结果,结合爆炸的loss与grad_morm,我有理由怀疑是梯度爆炸或者梯度消失所导致的。有了这个猜测,我回头审视自己的代码,最有可能导致梯度爆炸的超参数就是学习率lr,是不是我自己设置的学习率lr不合适?
学习率是啥?
学习率是梯度下降多次迭代过程中,用来控制模型学习进度的超参数。可以这么理解,学习率大就学的快(梯度下降块),学习率小就学得慢,但学习率并非越大越好,学习率过大,容易造成梯度爆炸或者消失。

解决办法

MMdetection默认的学习率,大多都是0.02,如果不刻意更改,模型会使用这个学习率去训练,swin Transformer没办法在lr=0.02条件下训练,将学习率更改为论文设定的0.0001,模型就正常训练。
在MMdetection中,学习率的调整是在目录:configs/base/schedules/schedule_1x.py文件中:

 

————————————————
原文链接:https://blog.csdn.net/fengbao24/article/details/127258699

### 可能的原因分析 当 `compute_metrics` 函数返回的结果为空时,通常是因为以下几个原因: 1. **数据预处理错误**:如果输入到模型的数据集中存在缺失值或者格式不正确的情况,则可能导致计算指标失败。 2. **评估逻辑问题**:在定义 `compute_metrics` 的时候,可能未正确处理特殊情况(如预测结果全为零或其他异常情况),从而导致返回空值。 3. **模型输出问题**:模型本身可能存在某些缺陷,在特定情况下无法正常生成有效的预测。 以下是针对上述可能性的具体解决方案以及代码示例。 --- #### 1. 检查数据预处理阶段是否有误 确保传入的测试数据集无任何缺失值或格式错误。可以通过打印日志来验证数据加载过程是否成功完成。 ```python def check_data_integrity(data_loader): for batch in data_loader: inputs, labels = batch['input_ids'], batch['labels'] if None in (inputs, labels) or len(inputs) != len(labels): raise ValueError("Data integrity issue detected.") print("All batches passed the integrity test.") check_data_integrity(test_dataloader) ``` 此部分操作有助于确认是否存在潜在的数据质量问题[^1]。 --- #### 2. 修改 `compute_metrics` 方法以增强鲁棒性 重新设计 `compute_metrics` 函数使其能够应对各种极端场景下的输入,比如所有样本都被分类成同一类别等情况。 ```python from sklearn.metrics import accuracy_score, precision_recall_fscore_support def robust_compute_metrics(preds_and_labels): predictions, labels = preds_and_labels try: acc = accuracy_score(y_true=labels, y_pred=predictions.argmax(-1)) prec, rec, f1, _ = precision_recall_fscore_support( y_true=labels, y_pred=predictions.argmax(-1), average='weighted' ) metrics_dict = { 'accuracy': acc, 'precision': prec, 'recall': rec, 'f1-score': f1 } except Exception as e: print(f"Error during metric computation: {e}") metrics_dict = {'error_message': str(e)} return metrics_dict ``` 通过加入异常捕获机制,即使遇到不可预见的问题也能提供反馈而不是简单地崩溃程序运行流程[^4]。 --- #### 3. 调整超参数优化 Adam 优化器表现 考虑到之前提到过关于 Adam 学习速率调节的重要性 [^5] ,适当调整初始学习率以及其他相关配置项可能会改善最终效果。例如降低默认的学习率数值范围至更小级别,并启用权重衰减功能防止过拟合现象发生。 ```python from transformers import TrainingArguments training_args = TrainingArguments( output_dir='./results', num_train_epochs=3, per_device_train_batch_size=16, per_device_eval_batch_size=64, warmup_steps=500, weight_decay=0.01, logging_dir='./logs', learning_rate=2e-5 # 更低的学习率尝试 ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset, tokenizer=tokenizer, compute_metrics=robust_compute_metrics ) ``` 以上设置更改旨在让训练过程更加稳定可靠的同时也提高了泛化能力[^5]。 --- ### 总结说明 综上所述,要彻底解决因 `compute_metrics` 导致的整体性能评价空白这一难题需从三个方面入手——仔细核查原始资料质量;精心构建具备良好容错特性的度量体系结构;合理选取适配当前任务需求的最佳算法调参策略组合方式。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值