评估Snow100K-L, RainDrop, OutdoorRain的FID,发现RainDrop和Snow的FID指标都在10+
20+,只有Snow100K-L的3~4
怀疑是计算上出了什么问题,用pyiqa和pytorch_fid计算了Snow100K-L的FID指标。两个库都是之前low-level方法有提供计算代码或者是在issue中有回复具体计算方式用的。
python -m pytorch_fid /home/ubuntu/research/datasets/lrx/Text_Restoration/datasets/val/sonwy/Snow100K-L/gt/ results/weather/noMod_43_WeatherResample_V4TextAffine_IterSup_PromptLearner_lenPro8_1PperIter_HqInverseMlp3_S1_RcpMDTA_ps256_600K/visualization/Snow100K-L --num-workers 1 --batch-size 1
---1---
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16801/16801 [03:51<00:00, 72.65it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16801/16801 [03:47<00:00, 73.72it/s]
FID: 3.715305233494746
Average: PSNR: 32.137408 dB, SSIM: 0.926148, LPIPS: 0.089739, niqe: 19.379761,
FID: 3.940522
结果相差不大,而且都是3.+ 是不是因为Snow100K-L的图像数量太多了?
其他issue下面也有提出来这个问题,FID对图像数量比较敏感。
FID官方仓库也说了,尽量要求数量足够大。