计算机视觉之统计形状模型——Active Shape Model

ASM（Active Shape Model）由Cootes于1995年在论文[1]中提出。

ASM是对图像中的shape进行建模的可变模型（deformable model），得到的形状模型既可以用来分析新的形状（拟合模型到新形状，见第4节），也可以用于生成形状（在给定图像中搜索形状，见第5节）。

首先需要给出shape的定义。给定一幅图片，对感兴趣物体标注landmark points，以人脸为例，就是选择人脸上的关键点，如下图所示：

得到点集合$\{(x_1, y_1), (x_2, y_2), \cdots , (x_n, y_n)\}$，那么这些点在图片中对应的shape就可以表示成$2n$维的向量$\vec x$：

$$\vec x=(x_1, y_1, x_2, y_2, \cdots, x_n, y_n)^T$$

可以看出每个shape都是$\mathbb R^{2n}$空间中的一个点。并且我们规定对一个形状进行相似变换（Similarity transformation），即旋转R、缩放S、平移T（RST），并不会改变该形状。当然也可以定义形状在其他变换操作下是不变的。

假设现在有$N$个已经标注了landmark点的训练数据，也就是说有了$N$个形状$\{\vec x_1, \vec x_2,\cdots , \vec x_N\}$。

1、对齐

为了能比较不同shapes，需要将shapes对齐。这是因为不同的形状大小角度等都可能不同，比如一个人脸特写与一张全身照中的人脸，显然，这两个人脸对应的形状是没有可比性的。
ASM中的对齐算法是基于Procrustes Analysis的。Procrustes Analysis在对齐形状时以最小化对齐后的形状和平均形状之间的距离之和为目的：

$$D=\sum_i |\vec x_i^\prime - \bar{ {\vec x}}|^2. \tag 1$$

这个优化目标有意思，首先式中的$\vec x_i^\prime$是对齐后的第i个形状，$\bar{\vec x}$是对齐后的形状的均值。第一项是未知的，而第二项又取决于第一项。假设$\vec x_i^\prime=T(\Theta_i;\vec x_i)$，这个函数姑且称为对齐函数吧。那么每个形状都对应一个参数$\Theta_i$，上述优化问题就是求使D最小的$\Theta = \{\Theta_i, i=1,\cdots, N\}$：

$$\Theta^* = arg \min_\Theta D= arg \min_\Theta \sum_i |T(\Theta_i; \vec x_i) - \frac{1}{N}\sum_jT(\Theta_j; \vec x_j)|^2 \tag 2$$

这个优化问题有解析解，但是一般采用下面的迭代算法进行对齐：

---

1. 平移每个形状使其重心位于原点
2. 选择第一个形状$\vec x_1$，对齐进行缩放$\vec x_1$以使$|\vec x|=1$，以缩放后的形状作为初始平均形状$\bar{\vec x_0}$
3. 对齐所有形状到平均形状
4. 计算对齐后的所有形状的平均形状$\bar{\vec x}$
5. 对$\bar{\vec x}$进行约束：让$\bar{\vec x}$对齐$\bar{\vec x_0}$并且缩放到$|\bar{\vec x}|=1$
6. 如果不收敛，返回到(3)

---

说明：步骤(5)对平均形状进行约束，是为了确保有唯一解（如果不进行约束的话，平均形状可能变得非常离谱）。另外判断是否收敛是看平均形状的变化是否超过某一幅度。

1.1、对齐操作

步骤(3)中的对齐操作可以有多种方式。比如可以移动每个形状使其以原点为中心，缩放使其模为1，旋转使得D最小，这种方式下D的参数只有旋转角度。

文献[1]中介绍的方法是对每个形状进行相似变换$T_{s,\theta, t_x, t_y}(\vec x)$以对齐均值。假设两个形状$\vec x_1$和$\vec x_2$，这两个形状以原点为中心，现在$\vec x_1$处理做相似变换使其对齐$\vec x_2$，相似变换的参数通过最小化

E=|Ts,θ,tx,ty