论文笔记：MatchNet: Unifying Feature and Metric Learning for Patch-Based Matching

Abstract

MatchNet：一个用来从patches中提取特征的深度卷积网络 + 一个用来比较提取出的特征相似度的三层全链接网络构成。

Introduction

在MatchNet中，每个patch输入卷积网络，生成一个固定维度的类似SIFT的特征。但与SIFT不同，SIFT中衡量两个descriptors的异同是用欧拉距离来计算；在MatchNet中，用的是一个三层的全链接网络。

Related work

这部分介绍相关工作。

Network architecture

总体网络结构如下：

包含的不同类型的层的参数如下：

具体结构：
Feature network：卷积层用到的激活函数是ReLU。结构是受AlexNet的启发。

Metric network：使用激活函数为ReLU的三层全链接层来比较features间的相似度。FC3使用了Softmax。其输入是一对features。输出是两个在[0,1]之间的浮点型，非负，和为1，代表网络估计两个patches间的匹配度。

Two-tower structure with tied parameters：两个塔状的网络用的是同样的参数。

The bottleneck layer：这一层用来降低feature的维度，并且控制网络的过拟合。它是一个大小为$B$的全链接层，输入为Pool4的大小$(8*8*64)$，输出为$B$，在之后有给出$B$对匹配结果的影响。

The preprocessing layer：预处理层，输入为灰度图，按照目前的惯例对其强度值$x$(in [0, 255])正规化，$(x - 128) / 160$。

Training and prediction

Feature and metric networks两个网络一起训练，其cross-entropy error为：
E=−