论文阅读笔记《Power Normalizing Second-order Similarity Network for Few-shot Learning》

小样本学习&元学习经典论文整理||持续更新

核心思想

  本文提出一种基于二阶统计量进行相似性度量的小样本学习算法。二阶统计量如：方差、协方差、二阶矩、自相关函数、功率谱、互相关函数、互功率谱等在图像细化和场景理解等视觉领域有着较为广泛的应用，但采用二阶统计量进行特征表达，需要配合适当的聚合或池化方法。本文首先将图像的特征信息转化为二阶统计量，并且引入Power Normalization（PN）技术对其进行池化处理，最后采用距离度量的方式来实现分类任务。整个网络的流程如下图所示

  网络的主体部分如图a所示，首先支持集图片（紫色、粉色、蓝色、黑色和绿色）和查询集图片（黄色）经过一个嵌入式网络得到对一个的特征向量，然后将特征向量转化为二阶统计特征，并将查询集对应的特征图分别与支持集中每个类别对应的特征图级联起来，接着经过PN操作，最后通过一个相似性度量网络输出查询集图片属于每个类别的概率。作者用了大量篇幅去解释了PN操作的过程，这也是作者另一篇文章《A Deeper Look at Power Normalizations》研究的核心内容，其细节我没有看得太懂，但有一句话可能是理解该问题的核心，二阶统计量存在这样一个问题——"the property that a given visual element appears more times in an image than a statistically independent model would predict"一个特定的视觉元素出现在一张图片里的次数超过一个独立地统计学模型所预测的值。而PN操作的目的就是——“Power Normalization which role is to reduce/boost contributions from frequent/infrequent visual stimuli in an image, respectively. ”减少频繁的视觉刺激对结果的贡献，增加不频繁出现的视觉刺激对结果的贡献。具体的证明过程感兴趣的读者可以去阅读原文，此处不再赘述。
  作者定义了一个描述符或者算子$v$（原文符号打不出来）用于表示二阶统计特征和PN过程，并且作者提出了多种计算方式，计算过程如下表所示

式中$\Phi$表示支持集图像的特征向量，${\Phi }^{\ast }$表示查询集图像的特征向量，$\mathcal{G}$表示PN过程，包含两种方法：AsinhE 和 SigmE，计算过程如下
AsinhE：

SigmE：

  作者又提出CNN只能构建局部关系模型，在图像或者特征图中存在空间局部相关性，而在上面过程得到的同现矩阵（co-occurrence matrices）却不再是局部的了。因此作者将二阶特征矩阵打乱顺序，然后分别输入到相似性度量网络中，这样就能捕捉并比较不同的同现特征了，如图b和c所示。最终整个网络的处理过程如下式

实现过程

网络结构

  特征提取网络和相似性度量网络结构如下

损失函数

  采用均方差误差作为目标函数

$c$和$c^{\prime }$分别表示支持集和查询集样本的类别，$\mathcal{F},\mathcal{S}$分别表示特征提取网络和相似性度量网络的参数。

创新点

• 采用二阶统计量进行相似性度量
• 引入Power Normalization（PN）技术对二阶特征信息进行处理，使其满足需求
• 对得到的二阶特征矩阵打乱顺序，捕捉不同位置处的同现特征

算法评价

  本文的核心思想并不复杂，就是希望采用二阶统计特征进行相似性比较，为了实现这一目标又引入了PN操作和顺序打乱等操作。但是由于二阶统计特征和PN都是比较陌生的概念，而且本文中充斥大量的符号的公式，使得文章阅读起来存在一些困难。网上对于本文以及PN操作的介绍并不多，因此对于本文的解读也属于浅尝辄止，某些过程和概念的理解可能也有误，这篇笔记算是抛砖引玉，期待后来者能够给出更详实具体的解读吧。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。