24.1.15 工作总结

一、读文献

A_Comprehensive_Real-World_Photometric_Stereo_Dataset_for_Unsupervised_Anomaly_Detection_IEEE2022

（一）新的异常检测数据集PS-AD

• 提出了异常检测数据集PS-AD，仿照光度立体法的采样方式，每个样本在不同光照条件下拍摄四幅图像（称为训练对/测试对）组成数据集；
• 异常检测模型可以同时输入多幅图像，且应用光度立体的方法（提供光源信息）可以利用不同光照图像估计物体的表面法线即三维信息作为异常检测网络的输入；
• 如果使用该数据集单张图片作为输入可以训练出能在各种照明条件下工作的异常检测网络。

（二）特征融合

1、文中使用三个异常检测网络（Skip-GANomaly、MKDAD、DifferNet）测试PS-AD数据集的有效性。比较输入单张图和不同光照条件的一组图的检测结果（AUROC，取结果最好的融合方法，输入一组图时需要使用特征融合方法）；结果表明AD模型的多图像版本比单图像版本表现更好 ；

2、实验探索了多输入情况下不同融合方法对异常检测结果的影响，使用到的融合方法包括Early fusion、Late fusion（mean）、Late fusion（max）、Late fusion（mean+max）和Channel attention fusion（仅限于Skip-GANomaly）。 结果表明Skip-GANomaly使用Channel attention fusion结果最好；MKDAD使用Early fusion结果最好；DifferNet使用Late fusion（mean）结果最好（这里文中给到的原因是，DifferNet使用特定的预训练特征提取器在训练和测试阶段，该提取器更适用于单次输入一个特征，因此优选的是通过组合来自固定的预训练特征提取器的每个图像的特征来执行后期融合。）；

3、本文还使用到了光度立体获得的三维信息包括梯度-X、梯度-Y、高斯曲率、平均曲率和反照率等作为异常检测模型的输入进行实验，结果表明，多图像+表面法线一起作为输入的结果最优，高于多图像输入的结果。

1、2、3都是分类任务，不涉及定位，AUROC为图像级

4、在定位任务上，实验只用到MKDAD和DifferNet两个网络，基于梯度热图给出异常分数，计算像素级AUROC；
5、实验结果表明，MKDAD有着更好的定位能力，且多图像输入的定位结果要远好于单图像定位结果，有些光照不好的单图像会给出完全错误的定位。
6、值得注意的是，使用到曲率信息的DifferNet展现出优秀的定位性能。

（三）启示

1、多图像输入时，异常检测网络使用不同的特征融合方法性能有明显差异；
2、多图像输入对曝光造成的误检有着明显的改进效果（定位）；
3、物体的三维信息对提高检测精度有一定帮助；
4、对于我自己的论文，可以参考本论文做一个输入为一组多曝光图像，输出检测结果的端到端异常检测网络。
【待讨论问题】针对内孔数据集缺陷比较小的问题，解决方案1是网络中嵌入展开分割和复原的环节（网络的通用性？）；2是增加预处理和后处理，内孔数据集输入前进行展开分割；对输出的结果进行复原；3是……