UNPAIRED CROSS-SPECTRAL PEDESTRIAN DETECTION VIA ADVERSARIAL FEATURE LEARNING
当前的问题及概述:
本文提出的框架采用行人检测网络和区域生成的对抗网络,能够生成互补的跨光谱行人特征。本文多光谱行人检测的说明:
模型及loss:
本文提出的跨模态行人检测框架。使用两个交叉光谱嵌入网络将每个光谱图像编码到公共空间中。为了对RGB和IR输入的互补信息进行编码,我们对每个与行人相关的感兴趣区域R (ROI)使用两个鉴别器,进一步应用了跨模态域适应方案。AC和AT分别为color image和thermal image的feature。
2.1Unified Detection Network
这个部分迁移Focal loss for dense object detection一文中的RetinaNet architecture进行分类和回归任务,其中分类loss采用focal loss:
回归loss采用smooth l1 loss
2.2Adversarial Network
这个部分的作用是混淆RGB和热图的模态差异,由于全局的