【论文笔记】Manifold-Based Visual Object Counting

一、基于流形的视觉目标计数

1. 提出了一种基于流形的视觉目标计数方法；
2. 通过正则化和非线性映射来考虑非负性和稀疏表示，来优化局部几何的特征；
3. 用局部模式学习和分层搜索被用来进一步提高所提出的方法及其变体的计算效率。

二、方法概括

figure1 提出的基于流形的视觉对象计数方法。橙色框内为测试部分（step 4）。红色为训练部分（step 1-3）。

1. 基于训练样本的点标注生成密度图作为groundtruth，并从中训练图像中提取图像patch,从密度图中提取密度patch；
2. 对提取的patch集进行特征工程；
3. 对patch集做聚类，并生成层级架构；
4. 对patch集作密度图重构，目标为得到最优权重，以生成测试集的密度图。

三、流形假设

本文提出了一种流形假设：相似的图像patch其密度图也相似，即patch和其密度图是共享相似局部几何的两种流形。那么，就可以从相似的图像patch及其密度图推测出未知图像的密度图。那么，图像patch $x\text{x}x$ 和其密度图 ${x\text{x}x}_d$就可以表示为：

四、方法详细流程

1. 生成训练集的密度图

figure2. 行人点标注和对应的密度图

• 密度图可以用2D高斯核函数计算：$${I\text{I}I}_d^i(z)=\sum _{U\in {U\text{U}U}^i}\mathcal{N}(z;U,{\sigma }^2{1\text{1}1}_{2\times 2})$$其中${I\text{I}I}_d$是$I\text{I}I$的密度图，即ground truth，$z$ 是图像 ${I\text{I}I}^i$ 的像素索引，$i$是图像索引， $U$ 是标注的点的坐标，${U\text{U}U}^i$ 是 ${I\text{I}I}^i$ 中所有点的坐标集。$\mathcal{N}$是归一化2D高斯核函数，${\sigma }^2$ 是用于平滑局部分布的 $\mathcal{N}$ 的方差，并且根据对象的大小(大约是对象大小的1/2)来设置。- 而目标计数可以计算为密度图上所有点之和：$${I\text{I}I}_d^i(z)=\sum _{z\in {I\text{I}I}_d^i}{I\text{I}I}_d^i(z)$$

2. 特征工程

• 为了增加特征空间中的采样密度和减少计算负担，采用主成分分析法（PCA） 对patch形式的原始数据特征进行集中、归一化和降维。

3. 构建搜索架构

• 为了降低算法的时间复杂度，采用分层搜索结构，该结构的节点是通过聚类产生的。- 结构分为两层，第一层包含$\sqrt{K}$个节点，代表图像patch集$Y\text{Y}Y$用K-means生成的$\sqrt{K}$个聚类的质心，第二层中，第一层的每个节点包含$\sqrt{K}$个子节点，代表$Y\text{Y}Y$用K-means生成的$\sqrt{K}$个聚类的质心,并分配给其特征节点。
• 也就是说，先找到与样本patch $x\text{x}x$ 相似度相近的某个聚类，在根据这个聚类找到与这个聚类相似的$\sqrt{K}$个聚类，这$\sqrt{K}$个聚类即为样本patch $x\text{x}x$的近邻集合$D\text{D}D$。### 4. 密度图重构- 采用基于流形假设的非参数方法来学习权重$w\text{w}w$，再用$w\text{w}w$来计算密度图${x\text{x}x}_d$- $${w\text{w}w}^{\ast }=arg\underset{w\text{w}w}{\min }\mathcal{J}(w|x,D\text{w∣x,D}w|x,D)s.t.1^{T}w\text{1Tw}{1}^{T}w=1$$$\mathcal{J}(w|x,D\text{w∣x,D}w|x,D)$是损失函数，对$w\text{w}w$做优化- 那么${x\text{x}x}_d$可以计算为：$${x\text{x}x}_d≌{D\text{D}D}_d$$

四、M-VOC 算法

• 基于流形假设，那么算法的目标是求最小化权重$w\text{w}w$ $${w\text{w}w}^{\ast }=arg\underset{w\text{w}w}{\min }||x\text{x}x-Dw\text{Dw}Dw|{|}_2^{2}s.t.1^{T}w\text{1Tw}{1}^{T}w=1\text{\hspace{1em}(6)}$$ - 如果${D\text{D}D}^{T}D\text{D}D$是正定的，那么$w\text{w}w$可以求解为：$${w\text{w}w}^{\ast }=\frac{1}{Z}({D\text{D}D}^{T}D\text{D}D{)}^{-1}{D\text{D}D}^{T}x\text{x}x\text{\hspace{1em}(7)}$$ $Z$ 是归一化因子。 公式（7）的方法被命名为M-VOC(LS)。
• 若图像块维度$q_1>T$,那么${D\text{D}D}^{T}D\text{D}D$不是正定的，则上述方法不适用，于是在这里引入正则化项。
  1）energy：为了产生更稳定的局部权重，$w\text{w}w$会受到其energy的限制。
  2）稀疏性：M-VOC受到patch的邻域大小限制，若T太小，则领域不足以表征局部几何形状，相反，则会倾向不同局部几何形状的邻域。这里引入局部约束和稀疏约束来避免T的选择。
  3）非负性：对$w\text{w}w$负约束可以使相似的图像块和图像密度凸组合。
  4）局部性:当选取邻域重构$x\text{x}x$，局部性已经被隐含地假定。- 基于以上四个约束，$w\text{w}w$的优化公式可以写作：$${w\text{w}w}^{\ast }=arg\underset{w\text{w}w}{\min }||x\text{x}x-Dw\text{Dw}Dw|{|}_2^2+{\lambda }_1||w\text{w}w|{|}_2^2+{\lambda }_2||w\text{w}w|{|}_1+{\lambda }_3(w\text{w}w-0)$$ $$s.t.1^{T}w\text{1Tw}{1}^{T}w=1and{\lambda }_1,{\lambda }_2,{\lambda }_3\ge 0\text{\hspace{1em}(8)}$$第二项以低能量强制$w\text{w}w$，而第三项强制稀疏性以选择潜在候选。第四项确保$w\text{w}w$是正的。- 为了从(8)中获得更多的解，通过设置不同的${\lambda }_1,{\lambda }_2,{\lambda }_3$，可以获得如下三个变量:
  1）M-VOC(e)令${\lambda }_2=0,{\lambda }_3=0$$${w\text{w}w}^{\ast }=arg\underset{w\text{w}w}{\min }||x\text{x}x-Dw\text{Dw}Dw|{|}_2^2+{\lambda }_1||w\text{w}w|{|}_2^2$$ $$s.t.1^{T}w\text{1Tw}{1}^{T}w=1and{\lambda }_1\ge 0\text{\hspace{1em}(9)}$$ $q_1>T$，公式（9）可以优化为：$${w\text{w}w}^{\ast }=\frac{1}{Z}({D\text{D}D}^{T}D\text{D}D+{\lambda }_{1}I\text{I}I{)}^{-1}{D\text{D}D}^{T}x\text{x}x\text{\hspace{1em}(10)}$$2）M-VOC(s)令${\lambda }_1=0,{\lambda }_3=0$$${w\text{w}w}^{\ast }=arg\underset{w\text{w}w}{\min }||x\text{x}x-Dw\text{Dw}Dw|{|}_2^2+{\lambda }_2||w\text{w}w|{|}_1$$ $$s.t.1^{T}w\text{1Tw}{1}^{T}w=1and{\lambda }_2\ge 0\text{\hspace{1em}(11)}$$可用Lasso方法优化
  3） M-VOC(nn)令${\lambda }_1=0,{\lambda }_2=0$$${w\text{w}w}^{\ast }=arg\underset{w\text{w}w}{\min }||x\text{x}x-Dw\text{Dw}Dw|{|}_2^2+{\lambda }_2||w\text{w}w|{|}_1$$ $$s.t.1^{T}w\text{1Tw}{1}^{T}w=1and{\lambda }_2\ge 0\text{\hspace{1em}(12)}$$
  可用二次规划优化。

五、KM-VOC 算法

• 图像块包含许多变化，如形状和纹理，并且如以上部分所讨论的线性表示可能无法完全捕捉它们潜在的内在关系。本文首先将非线性映射引入到模型的局部几何建模中，然后应用核方法使其易于处理。
• 使用非线性映射，则 ${w\text{w}w}^{\ast }$变为：$${w\text{w}w}^{\ast }=arg\underset{w\text{w}w}{\min }||\varphi (x\text{x}x)-\varphi (D)w\text{ϕ(D)w}\varphi (D)w|{|}_2^2+\lambda ||w\text{w}w|{|}_2^2$$ $$s.t.1^{T}w\text{1Tw}{1}^{T}w=1and\lambda \ge 0\text{\hspace{1em}(14)}$$ 则闭式解为：$${w\text{w}w}^{\ast }=\frac{1}{Z}(\varphi (D\text{D}D{)}^T\varphi (D\text{D}D)+\lambda I\text{I}I{)}^{-1}\varphi (D\text{D}D{)}^T\varphi (x\text{x}x)\text{\hspace{1em}(15)}$$
• 用核函数表示非线性映射，则公式（15）可以表示为 $${w\text{w}w}^{\ast }=\frac{1}{Z}(G\text{G}G+\lambda I\text{I}I{)}^{-1}k(D,x\text{D,x}D,x)\text{\hspace{1em}(16)}$$ $G$是GRAM矩阵，$G_{i,j}=\varphi ({y\text{y}y}_i^t{)}^T\varphi ({y\text{y}y}_j^t)$, $k(D,x\text{D,x}D,x)$是核。
• 那么，${x\text{x}x}_d$可以被重构为： $${x\text{x}x}_d≌E\text{E}Ek(D,x\text{D,x}D,x)\text{\hspace{1em}(17)}$$ 其中$E\text{E}E=D_d\text{Dd}{D}_d(G\text{G}G+\lambda I\text{I}I{)}^{-1}$,为嵌入矩阵