计算机视觉 - 相关性建模

相关性建模方法在计算机视觉领域里得到了广泛应用。比如，在目标检测领域，该类方法主要考虑像素间的空间领域关系；在视频建模中，考虑帧之间的相关性；在细腻度图像分类中，考虑类别标签间的结构相关性；该类方法在样本不均衡下的模型建立中同样适用，充分挖掘类别间的相关部分等等。下面主要对相关方法进行一个简单汇总与总结，给自己的后续研究提供思路。

1. 细腻度图像分类

该文名称为Fine-grained Image Classification by Exploring Bipartite-Graph Labels，发表在CVPR 2016上。概括来说，该文基于CNN架构，在最后的全连接层(Soft Max)融入二分图标签(BGL, bipartite-graph labels)，以此解决了细腻度图像分类中的两大难题：1) 由于细腻度类别标签数的有限性造成CNN模型的过拟合；2) 细腻度类别间的相似性很难学习辨别性的特征表示。所谓二分图标签(BGL)，就是作者事先定义的粗略标签，可理解为对细腻度标签根据不同性质的一系列分组；也可看着是对细腻度标签的不同属性划分。比如，论文中举了一个关于餐馆-菜品的例子，如下图：

其中，中间一列为3个细腻度标签，边上的Graph1-3为预定义的粗略标签。在Graph 2中有两个类别：加蒜与否；此粗标签能将细腻度类别划分为两组。很明显，定义的一系列粗略标签与细腻度标签具有层次结构。假如现在有了一系列预定义的粗标签，那么在CNN模型的最后一层中，无非是结合细腻度标签，在Soft Max上进行扩展并学习相应的权重参数。下面来看看论文的形式化过程。

首先，我们看看只有细腻度标签在Soft Max上的形式化。假设给定训练数据集$\{x,y\} \subseteq \chi$，$x \in R^d$为CNN模型中Soft Max层的输入特征表示，$y\in R^K$为细腻度类别；$W$为待训练的权重参数，$f=W^Tx \in R^K$为输入特征$x$在$K$个细腻度类别上产生的分数。那么我们最大化的对数似然函数为：

$$\mathop{max}_W \sum_{\{x,y\} \subseteq \chi} \ln p(y|x,W)$$
其中， $y$服从多元伯努力分布，且定义
$$p(y|x,W)=\prod_{k=1}^K \left(\frac{exp(f_k)}{\sum_{j=1}^K exp(f_j)}\right)^{y_k}$$
上式对 $W$的优化求解可以采用很多优化方法。现在我们考虑融入进 $M$种类型的粗略标签 $\{y_m\}_{m=1}^M$，而每一类型标签有 $K_m$种类别，且都会与 $K$个细腻度标签建立关联。那么有了粗略标签，我们定义的优化目标函数中最大的难点在于如何定义联合概率 $p(y,\{y_m\}_{m=1}^M|x,W,\{W_m\}_{m=1}^M)$。为了直观的理解，我们以上图为例进行说明，可知 $K=3$， $M=3$，且