二、AFD-Net: Aggregated Feature Difference Learning for Cross-Spectral Image Patch Matching论文阅读

 

摘要：跨光谱成像的图片的图像块匹配的难度远大于单光谱成像的图像块匹配，原因存在两点，第一通过传统的CNN的方法提取的特征差别很微弱，同时不同的成像原理带来很大的表征差别；未来解决这个问题，提出了一个汇聚特征差分网络（AFD-NET：an aggregated
feature difference learning network），与其他的方法不同，此方法不仅仅依赖于卷积高级语义特征，并且依赖于每一层的特征图的差分特征；为保持特征的不变性，我们使用了实例归一化的方法；使用边缘余弦损失函数来整体的优化网络，此网络整体优于其他现有方法；

1. 简介

分析了传统的特征提取网络的优缺点，优点是对于可见光的充足的情况下，对特征提取的比较丰富，性能表现比较好（比如：SIFT SURF GISIFT ，shape context等）缺点：对于跨光谱的图像块特征提取的不好，这是由于不同的成像机理存在像素上存在很大的区别；最近几年发展的深度学习理论，课分为传统的CNN（提取高级语义特征，再对特征向量度量相似度） 以及进一步的度量学习（把匹配问题转换为二分类问题）；这些方法仅仅依赖于高级特征，因为这些特征具有抽象性，对旋转、尺寸缩放、投射变换不变性，我们发现由于涉及到文本信息，特征差分等方面都对图像块的匹配有所贡献，特征差分可以消除相同的信号信息，可以放大不同的信息；基于此对6万张跨光谱图片做了统计工作，如图片1所示（对差分特征图做了统计，对比匹配与未匹配之间的标准差差距，并展示了汇聚差分特征图对标准差的影响）

对于第二问题，从Emerging 研究中，引入了instance normalization(IN)可以去除潜在的表征差别；可以减少区域引起的差别并对单光谱图片上显著化变量；使用边缘余弦函数来代替softmax损失函数，因为softmax函数只单方面的鼓励分离，对类内的相似度并未考虑；

总结三个突出贡献：

1. 提出汇聚差分特征网络
2. 引入了实例标准化
3. 实验证明了方法的优越性

2、相关工作

the Siamese network	shared weights to learn discriminative features the hinge embedding loss
PN-Net	adopts triplet comparison using a softPN loss
HardNet and L2 net	sampling strategy in a mini-batch
度量学习
MatchNet	使用孪生网络第一个用于图像提取
Pseudo-Siamese network and 2-channel	取得很好的性能，，然而用于单光谱成像块
SCFDM	learned invariant feature across different domains through a shared feature space

  IN 实例规范化，对于特征改变具有鲁棒性，利用均值与方差来来归一化特征；常用于去除具体的实例对比信息，然而干扰特征差别；因此在此工作中结合了BN 与IN ，在不同区域与光照下，保持图像块丰富的差别信息；

损失函数：边缘余弦函数

网络框架分为三个子网络：

Domain invariant feature extraction network	we apply IN after BN into the shallow layers in feature extraction network to reduce the feature variance caused by varied domains
Feature-difference learning network	we aggregate FDs from high to low
Metric network	LMCLs to jointly optimize the both feature difference network and domain invariant feature extraction network SGD and momentum

3.实验部分对比了6个实验

结论：提出了能够有效利用差分特征图的汇聚残差网络用于跨光谱成像图像块的匹配；使用了实例标准化与批量归一化的技术。使用了边缘余弦函数用于网络优化；在数据集VIS-NIR 与单光谱数据集上，都取得了很好的效果，未来的工作中，研究更加完整高效的方法用于处理困难样本；

 

参考：

[1] C. Aguilera, F. Barrera, F. Lumbreras, A. D. Sappa, andR. Toledo. Multispectral image feature points. Sensors,
12(9):12661–12672, 2012. 5, 8
[2] C. A. Aguilera, F. J. Aguilera, A. D. Sappa, C. Aguilera, andR. Toledo. Learning cross-spectral similarity measures withdeep convolutional neural networks. In CVPR, pages 1–9,2016. 1, 2, 3, 4, 5, 6, 8
[3] C. A. Aguilera, A. D. Sappa, C. Aguilera, and R. Toledo.Cross-spectral local descriptors via quadruplet network. Sensors, 17(4):873, 2017. 1, 2, 5, 6, 8