【学习笔记】Structured Learning and Prediction in Computer Vision - 1

Book info

Structured Learning and Prediction in Computer Vision

Authors: Sebastian Nowozin and Christoph H. Lampert

Link: http://www.nowozin.net/sebastian/papers/nowozin2011structured-tutorial.pdf

Introduction

Computer Vision 是什么？
通过获取图像高层次信息来感知图像数据的自动化系统

输入输出、辅助变量、模型定义？
输入（observation variables）：图像数据，e.g. 自然图片，卫星图片等。
输出（output variables）：高层次信息，e.g. 物理信息，物体类别信息等。
辅助变量（auxiliary variables）：非必要变量。
模型：定义了变量间的关系（interaction）。

Structured model 是什么？

Structured models allow a large number of variables and interactions, leading to rich models that are able to represent the complex relationships that exist between the image data and the quantities of interest.

个人理解，结构化模型能够处理大量的变量和关系，能够表达出图像信息与高层次信息间的复杂关系。

An Example: Image Segmentation

书中举了一个语义分割的例子。具体任务是区分图片的前景和后景。

输入变量 $x \in X$，每个 $x$ 代表了一整张图片；输出变量是针对每个像素 $i$，都有 $y_i \in \{0,1\}$。当 $i$ 属于前景时，$y_i=1$，反之 $y_i=0$ 。

接下来定义变量间的关系（interactions）。根据以下两大原则：

• 从单个点考虑，假设一个局部模型 $g_i(y_i,x)$，仅与单个像素点$i$ 有关。如果图片 $x$ 中，像素 $i$ 看起来像是前景物体，$g_i(1,x)$ 会得到一个很高的值。反之则得到较低的值。

• 从局部一致性考虑，引入了一个代表像素间关系的项 $g_{i,j}(y_i,y_j)$。其中像素点 $i,j$ 是距离较近的两个点，即近邻（近邻个数为4，点的近邻集合用 $J$ 来表示）。当 $y_i = y_j$ 时（即近邻像素对预测值相同），$g_{i,j}(y_i,y_j)$ 会得到较高的值。反之得到较低的值。

  现在我们结合以上构造的模型关系，将语义分割问题转换成对 $n$ 个像素点预测最优化（根据以上两个原则得到的值最大化）的问题：
  

  $$y^* = \arg\max_{y\in\{0,1\}^n} \Bigg[\sum_{i=1}^n g_i(y_i,x) + \sum_{(i,j)\in J} g_{i,j}(y_i,y_j) \Bigg].$$
  目的是找出最优的 $y$ （得分最高），既要考虑每个像素的局部模型，又要考虑近邻像素对之间的局部一致性。

具体的 $g_i$ 和 $g_{i,j}$ 函数如何定义是未知的，定义方法有很多种，视情况而定。在书中，作者用一个简单的二元分类模型来做例子。

$$g_i(y_i,x) = <w_{y_i}, \varphi_i(x)>,$$
其中，$\varphi_i: X \rightarrow \mathbb{R}^d$ 是从像素 $i$ 周围的一个固定的区域框里获取一些图片特征。参数向量 $w_{y}\in \mathbb{R}^d$ 是这些特征的权重。因此，这个局部模型就可以直观地解释为，如果像素 $i$ 附近的图像是绿色的，那么它大概率是背景像素。通过调整权重的值，任何图片都可以通过模型 $g_i(y_i,x)$ 得到其局部的值。

至于表达 近邻像素间一致性关系 的模型 $g_{i,j}(y_i,y_j)$，使用一个 $2\times 2$ 表格来表示 $g_{i,j}(0,0)$，$g_{i,j}(0,1)$，$g_{i,j}(1,0)$，$g_{i,j}(1,1)$ 的值，其中 $(i,j)$ 为近邻像素对，且属于集合 $J$。

关于structured learning的补充知识

结构化学习模型和一般的学习模型不同点

• 输入输出不同。结构化学习模型的输入输出更复杂，都是object, 不是单一的值，比如说 sequence, tree, bounding box.
• 变量间关系更复杂。结构化学习模型的输入输出中含有很多变量，且需要考虑这些变量之间的关系，即结构。一般的预测模型，比如分类模型，是不需要考虑前一个预测值与下一个的关系，但在结构化学习模型中，比如语义分割中，需要考虑邻近像素点的预测值的关系。
• 训练阶段需要找到一个函数 $F(x,y)$ 来显式地评价输入 $x$ 与 输出 $y$ 之间匹配的程度；在推断阶段，面对新数据，最大化函数 $F(x,y)$，值最高的 $y$ 即为预测结果。（这和一般模型中定义假设空间类似，但又不同。假设空间是输入输出的映射函数合集，需要找出最优的映射函数，以此来预测输出结果。但这里的函数直接评价了输入与候选输出的匹配程度，直接找出最合适的输出结果）

结构化学习模型中的问题/难点：

• 函数 $F(x,y)$ 是什么样子（形式）的？

• 给定训练数据，如何寻找合适的 $F(x,y)$ 函数？
• 怎样最大化 $F(x,y)$ 函数？

参考资料

[1] Book: Structured Learning and Prediction in Computer Vision
Authors: Sebastian Nowozin and Christoph H. Lampert
Link: http://www.nowozin.net/sebastian/papers/nowozin2011structured-tutorial.pdf
[2] http://blog.csdn.net/qq_32690999/article/details/78840312