图像相似度评价

１.互信息（ＭＩ）

相关文章：
. Patchmatch: A randomized correspondence algorithm for structural image editing. SIGGRAPH 2009
The generalized patchmatch correspondence algorithm ECCV2010
Deformable spatial pyramid matching for fast dense correspondences cvpr 2013
Do convnets learn correspondence NIPS 2014
Data driven image models through continuous joint alignment
Collection flow
Robust Alignment by Sparse and Low-rank Decomposition for Linearly Correlated Images

Unsupervised Discovery of Mid-Level Discriminative Patches
Discovering Visual Patterns in Art Collections with Spatially-consistent Feature Learning
Painting-to-3D Model Alignment Via Discriminative Visual Elements
Universal correspondence network
Neighbourhood consensus networks

通过孪生网络比较图像对：
Learning to See by Moving. In ICCV, 2015
Learning to Compare Image Patches via Convolutional Neural Networks.CVPR, 2015.
Computing the stereo matching cost with a CNN. In CVPR, 2015.

WarpNet: Weakly Supervised Matching for Single-view Reconstruction
Direct Shot Correspondence Matching 2018

增加CNN的不变性：Spatial Transformer Networks
Spatial pyramid pooling in deep convolutional networks
WarpNet: Weakly Supervised Matching for Single-view Reconstruction
Locally Scale-invariant Convolutional Neural Network
Distinctive image features from scale-invariant keypoints

相关的loss函数：
Signature verification using a Siamese time delay neural network. In NIPS, 1994
Learning a similarity metric discriminatively, with application to face verification. In CVPR, volume 1, June 2005
Dimensionality reduction by learning an invariant mapping. In CVPR, 2006
Learning fine-grained image similarity with deep ranking. In CVPR, 2014
Facenet: A unified embedding for face recognition and clustering. In CVPR, 2015.
Deep metric learning via lifted structured feature embedding. CVPR 2016
CNN的尺度不变性研究：Spatial pyramid pooling in deep convolutional networks for visual recognition.

MSE:不鲁棒

SSIM:参考https://zhuanlan.zhihu.com/p/67199699

SIFTFlow
FlowWeb:这是对一组图像进行对齐的方法。首先，用ISFTFlow对齐两个图像，然后充分利用然亦两个图片对齐时都满足的cycle consistency,对所有图片三三进行该约束，从而得到多张图片的对齐结果。
cycle consistency:

DSP:
提出了使用传统方法的鲁棒匹配方法（与SIFTFlow类似，更快更准确），而且引入了尺度因子，可以处理不同尺度的图像配准

（1）把一张图构成金字塔：从整张图开始，持续向下划分，1分为4，最后加一个pixel-level layer.然后，用graph的方式来表示。每次划分得到的grid和最后的pixel看作node,同一层之间的邻居node和不同的层之间的parent-child nodes构成edges.其中，对于pixel node特殊处理：邻居pixels之间不做连接，只与他的parent cell做连接，从而减少了大量的edge,减少了优化时的时间消耗（Each grid cell and pixel is a node, and edges link all neighboring nodes within the same level, as well as parent-child nodes across adjacent levels.）
(2) 匹配目标：
2.1：在一个尺度上匹配时的目标（Im1和Im2的尺度相同）：约束匹配位置的像素一致性（用描述符一致性代替）和光流平滑性（仅限于存在edge两个node之间）
2.2：在不同尺度上的目标（Im1和Im2的尺度不同）：增加尺度因子s,从而使得网络可以匹配不同尺度的目标
（3）我们的计算为什么简单：
3.1：定义m为在第一张图中提取的描述符的个数，n为graph中node的个数。我们的网络有两层layer(first-layer和second-layer),优化时首先只优化first-layer，然后一起优化fierst-layer和seconde-layer.
3.2：在我们的second-layer中，n为10,m大约为100个（我们提取sparse descriptors,而不是每个像素的dense descriptors）。SIFTFlow比较慢，因为SIFTFlow是从下而上对图片上采样，然后对coarse的像素对齐，下采样后的n可能为几百
3.3 在第二阶段对齐seconde-layer时，由于pixles之家没有edges,所以计算很快，pixle-level约束包括与父节点的edge带来的光流平滑性约束和像素间描述符一致性约束

4.与deepFlow的异同
同：两者的flow的都是各个octave的flow的合并，而且是分octave,每个octave分region提取flow(不同octave,不同region的flow不同；同一个octave同一个region的flow是相同的，而且最小的region是像素级别)。
异：
获取flow的方式不同：deepflow光流是通过响应图的最大位置获得，响应图是从细到粗，先通过两张图的各个patch两两做卷积获得最细的响应图，然后通过池化下采样集合获得较粗和最粗的响应图（响应图patch的大小分别为44->88->1616->3232）。获取各个octave的响应图后，再从粗到细定位光流。而DSP是从粗到细，根据描述符一致性的限制获取光流。

Do convnets learn correspondence

卷积层提取的特征：即使高层卷积提取的特征有大量语义信息，而且感受野很大。但是这些特征也能精确的定位像素，在像素定位上达到与SIFT持平的水平。我们可以用卷积特征代替sift特征。其中我们所用的卷积特征为（在很大的数据上进行过分类训练）： trained for classification using the 1.2 million images of the ILSVRC 2012 challenge dataset
几个实验
1.实验1：我们用卷积特征(分别获取conv3,conv4,conv5的卷积)最相似的patch替换当前patch，这种替换没有造成位置上的错乱，可见卷积特征即使是在large rfs（感受野）上提取的，但是却能准确反映位置。同时，随着卷积特征从conv3->conv5，语义特征更加明显，比如眼睛是眼睛，但是颜色改变，鼻子是鼻子，但是形状改变。下图黄色框是16*16的patch,黑色框为各个卷积层的感受野。实验证明：卷积特征的感受野很大，但是特征对感受野内像素的位置是敏感的，这种特征就会对应感受野内这种位置的像素分布。
结论：特征相似的patch,即使它们的外观不同，但语义和像素间的位置分布是近似的。

2.实验2：根据conv4的特征和光流的两个准则做对齐同一类别不同实例的两个对象。结果与SIFTFlow的结果比较。
结论：可以用卷积特征做对齐

Data driven image models through continuous joint alignment

这个感觉是多张图片对齐

Collection Flow（CVPR 2012)

这篇文章没有怎么看，我感觉：以人脸为例，通过把输入图像做映射（映射到低维空间，光照和表情的维度比较固定），从而减少表情和光照的影响，从而提升现有的光流检测方法的表现

Robust Alignment by Sparse and Low-rank Decomposition for Linearly Correlated Images

感觉和collection flow思想类似，图像低维重建，排除干扰。
Our method seeks an optimal set of image domain transformations such that the matrix of transformed images can be decomposed as the sum of a sparse matrix of errors and a low-rank matrix of recovered aligned images.

Patchmatch: A randomized correspondence algorithm for structural image editing

参考：https://cjkkkk.github.io/2019/04/05/patchmatch/
对于A种的一个patch,提出了一种在B图种快速搜索可能匹配的patch的方法。

Universal correspondence network 2016

主页：https://cvgl.stanford.edu/projects/ucn/
参考：https://blog.csdn.net/weixin_42730997/article/details/104127373
参考：https://zhuanlan.zhihu.com/p/112114806
这是一个需要监督的网络，监督信息可以时光流或者匹配的关键点。
网络结构：
（1）convolutional spatical layer:使用该层，通过学习，将特征做affine变换。
可以将这个层与DCN,STN层比较：都是通过学习，对特征层做变换。比如DCN可以通过学习offset,用于卷积特征的对齐,或者获得更大范围的信息；STN,CSL可以通过学习，让特征更加统一化，从而让卷积层获得r,t,s不变性。
（2）损失函数：直接使用学到的特征作为损失，该损失包含两项：让匹配点的特征尽可能一致，让不匹配点的特征的差距至少为m.第二项损失只有不匹配点的特征差距小于m时才有效，所以相当于难例挖掘
（3）最后的输出层对特征做了归一化来稳定训练时的梯度（channel-wise normalize the features, which we found to stabilize the gradients during training.）

Neighbourhood Consensus Networks

参考https://www.bilibili.com/video/BV1iE411973r?from=search&seid=13504064398100968392
参考https://www.di.ens.fr/willow/research/ncnet/
先使用网络去预测对应关系，然后使用弱监督信息对网络做更新
（1）使用网络预测对应关系：
1.1用CNN提取特征
1.2对于特征图A中特征和特征图B中特征，使用cos判断特征相似性，从而得到4D的特征图（ijkl）,其中（i，j）表示特征图A中位置，（k,l）表示特征图B中的位置

1.3 soft mutual nearest neighbour filtering 最近邻过滤 4D卷积网络:filter out mathces that are not mutual nearest neighbours,感觉类似于cycle consistnece

1.4 extraction of correspondences:对Cijkl和Cklij做softmax

1.5 weakly -supervised training loss:弱监督

Unsupervised joint alignment of complex images ICCV 2007
Learning to align from scratch. NIPS 2012