Computer Vision_2_Active Shape Models：Active Shape Models-Their Training and Application——1995

此为计算机视觉部分，主要侧重在底层特征提取，视频分析，跟踪，目标检测和识别方面等方面。

1. Active Appearance Models
活动表观模型和活动轮廓模型基本思想来源 Snake，现在在人脸三维建模方 面得到了很成功的应用，这里列出了三篇最早最经典的文章。对这个领域有兴趣 的可以从这三篇文章开始入手。
[1998 ECCV] Active Appearance Models
[2001 PAMI] Active Appearance Models

 

2. Active Shape Models
[1995 CVIU] Active Shape Models-Their Training and Application

翻译

主动形状模型，他们的训练和应用

 

摘要 -基于模型的视觉被牢固地建立为健壮的方法来识别和噪声，杂波和遮挡的存在定位已知的刚性物体。更成问题的基于模型的方法应用于对象其外观可以改变的图像，虽然已经提出了许多基于使用的灵活的模板方法。与现有方法的问题是，他们牺牲模型的特异性，以适应变化，从而影像解译中牺牲了鲁棒性。我们认为，一个模型应该只能够在它代表对象的方法的类的特征变形。我们描述了通过从训练正确设置了注释的图像的学习变异的模式建立模型的方法。这些模型可用于在迭代细化算法类似于由主动轮廓模型（Snakes）中使用的图像搜索。关键的区别是，我们主动形状模型只能变形以适应方式与训练集一致的数据。我们发现，我们已经建立这样的模型，并用它们定位在嘈杂，混乱的图像部分被遮挡物体的几个实际的例子。

 

1 引言

我们应对图​​像定位已知对象的实例的问题。利用刚性模型图像判读是公认的[1,2]。然而，在同级别的许多实际情况中的对象是不相同的和僵化模式是不合适的。在医疗应用中，例如，器官的形状可以通过相当时间和因人而异。此外，许多工业应用涉及具有运动部件，或组件其外观可以变化的组件。在这种情况下灵活的模型，或可变形的模板，可以用来允许在成像的对象[3-23]的形状一定程度的可变性。
 在本文中，我们提出了构建和使用图像结构，其形状可以变化的灵活模式的新方法。该模型能够一类形状的内捕捉自然变异，可以在图像搜索来寻找结构的他们代表的例子。以前的方法已经允许模型变形，但没有量身定做的变化对类形状的关注，该模型是不特定的。我们的主要贡献是描述如何创建模型，其允许相当大的变化，但仍然专门用于该类他们所代表的结构。
 我们的技术依赖于每个对象或图像结构通过一组点来表示。这些点可以表示的边界，内部特征，或甚至外部的，如边界的凹部的中心。点被放置在每个训练集的对象的示例的相同的方式。这是手工完成，虽然工具可以帮助用户。点的集合被自动对齐，以尽量减少在等效点之间的距离的方差。通过检查标记点的“点分布模型”推导的位置的统计数据，模型给出了点的平均仓位，并拥有一批其控制在训练集找到变异的主要模式参数。

鉴于这样的模型和含有建模，图像判读涉及选择用于每个参数的值，以找到模型到图像的最佳拟合的对象的一个​​例子的图像。我们描述了一种技术，它允许为最佳形状，取向，尺寸和位置的初始非常粗略估计到由假设的模型实例与图像数据进行比较，并使用模型和图像之间的差异而变形的形状加以改进。之前我们已经介绍了如何获得初始猜测[7]。该方法具有与Kass等人的活动轮廓模型（或Snakes）的相似性[3]，但不同之处被施加，全球形状约束；进行这种区分清楚我们采用的术语主动形状模型。关键的一点是，该模型的情况下，可以在训练集中找到了唯一的变形。
 我们的结果表明，用于构建模型与活性匹配技术相结合的方法提供了复杂的图像的解释系统有效的范例。在我们回顾一些相关文献的本文的其余部分，描述了建模方法，并显示的训练的模型例子。有源匹配技术被描述和结果列，示出了模型可以如何被用于解释图像。
 

2 背景
没有描述使用灵活的模型或变形模板，以帮助图像解译大幅文献。这样的模型通常具有许多参数来控制的形状和模型的全部或部分的姿势。我们给一些最之意义的工作，这主要涉及到二维图像的简要回顾。

 

2.1 “手工制作”模式
灵活的模型可以从简单的子组件，如圆，直线或圆弧，这是允许一定程度的自由度相对走动彼此，并可能改变规模和方向来建立。 Yuille等人[5]脸部模型部分，如眼睛和嘴巴，用这种方式。当试图以适应模型的图像，他们首先获得近似配合，它们通过一次改变模型，一个的不同部分缩小。Lipson等人[6]应用类似的方案椎骨的椭圆模型映射到脊椎的CT图像。 Hill等人[7]使用心脏的手工模型，结合遗传算法搜索查找超声心动图左心室。

虽然这种模式可以捕捉预计形状的详细知识，该方法缺乏通用性。有必要来设计一个新的模型和配件为每个应用程序图像的方案。

 

2.2 铰接式模型
许多作者认为通过滑动或旋转接头连接的刚性部件内置关节模型。 Beinglass和Wolfson[8]描述用于定位使用通用霍夫变换与关节运动的点作为基准点用于每个子部分这样的对象的方案。连接子部分则投给了相同的参考点。 Grimson [2]已经扩大了他的“解释树”的方法来识别物体，包括一些关节，并审查了其他工作沿着相同的路线。这种方法只适用于受限制的类的可变形状的问题。

 

 2.3 主动轮廓模型（“Snakes“）
Kass等人[3]描述了被吸引到的图像特征灵活的轮廓模型。这些能量最小化样条曲线被建模为具有的刚度和弹性，并且朝向的功能，如线和边吸引。约束可以应用，以确保它们保持光滑和限制的程度，他们可以弯曲。

Snakes蛇可以被视为参数化模型，参数是样条控制点。它们通常是自由采取几乎任何光滑边界与他们的整体形状约束很少。通过使用图像证据力施加到模型和最小化能量函数的拟合想法是有效的。
 Hinton等人[4]描述一种类型由许多控制点已经优选的“家”位置，得到snake蛇特定默认形状支配花键snake蛇的。变形是通过移动控制点从他们的“家”的位置离开造成的。虽然对象的平均形状被表示，形状变化的模式仅由粗略的数量和控制点的位置来定义。

 

 2.4 傅立叶级数形状模型
Scott[9]通过三角函数的膨胀提出造型形状的方法，

 

产生的形状为参数的函数。通过改变参数和使用的术语的数目，可以产生不同的形状。斯科特显示了如何通过改变参数，以适应这样的形状模型的图像数据，以最小化能量术语。该模型是几乎可以无限变形，并且不包含之前形状的信息。 Staib和Duncan[10]描述了类似的傅立叶模型，并用它们来解释医学图像。他们得出的分布对于每个参数在训练集的同时拟合模型到图​​像最大化概率测度确定的可能性有多大，目前的示例是所期望的对象。
Staib和Duncan[11]描述了这样的技术如何可以用于在医学图像中的器官建模。一个给定的形状通过对参数的值的列表来表示，并且通过改变从这些值的参数变形。他们描述了通过应用约束模型的参数包含几个灵活的对象之间的关系的方式。
 三角函数基函数是不适合用于描述一般的形状；例如，使用术语的有限数，它们只能近似方形角落。在三角展开的参数中形状的变化和变型之间的关系并不简单。

 

2.5 形状的统计模型
许多工人已经研究组的这标志着对象上显著位置“地标”点分布。Goodall[14]讨论了登记的任意维数的形状和用于估计平均形状使用普鲁克分析和界标点坐标之间并用于评估集形状之间的差的协方差。
 Grenander等人[12]描述表示形状为一组由弧连接边界点的方法，与相邻弧之间的关系的统计模型。他们展示如何手的轮廓模型可以被操纵，以适应手的退化图像。他们这样做是考虑边界的部分，并确定给定的边界和局部图像数据的其余部分其最可能的位置。通过在多个扫描的过程进行迭代，以溶液的穿过边界。Grenander和Miller [13]已经扩展这项工作包括灰度信息和多个模型。Mardia等人[15]做同样的事情，表示为点与由协方差矩阵的相关分布的序列的形状的边界。他们也通过记分周期内找到给出的图像和当前的形状最可能的位置。Grenander等人和Mardia等人都代表形状，在复平面上的点集。这些点可以关于以下与协方差矩阵S，其中S是使用任一阶自回归条件（CAR）模型或Toeplitz托普利兹协方差矩阵建模为正态分布他们的手段而变化。在我们的工作中，我们使用了类似的底层模型，但要避免点的序列的任何依赖性，从而获取更多的全球形状属性。我们还使用主成分分析，以简化的协方差矩阵的结构。

 

2.6 有限元模型
有限元方法可用于以可变的图像对象与内部的刚度和弹性的物理实体建模。Pentland[18]和 Pentland和Sclaroff [19]使用那个像弹性粘土的团块三维模型。他们得出合适的碱的形状的振动的模式，例如椭圆体，并建立从不同的振动模式的形状。第一模式是形状的大型的变化；高阶模是更本地化。为了模拟人的头，他们使用的第一个30种模式。他们能够适应模型由一个交互过程范围的数据，可以通过比较参数比较不同的头。 Terzopoulos和Metaxas [20]提出使用可变形的超二次曲面类似的想法。 Nastar和Ayache [21]使用该形状的一个例子的振动模式使用有限元方法来进行建模。 Karaolani等人[22,23]使用有限元方法来二维对象的模型，给予的替代Kass的“Snakes”等人[3]。
所有这些方法具有的优点是模型是比较容易构建，并且允许一个家庭形状的紧凑参数表示。

 

2.7 为更好的模式的需求
我们已经描述了许多的现有方法用于创建和使用可变形模型来解释包含可变形式的结构的图像。它在这一点上，为什么我们认为需要一种新的方法来解释是很重要的。我们认为，问题的关键是模型的特殊性之一。必要的是，可变形的模式应该是能够容纳在它被用来代表的对象发现的变化范围，但还不够。模型的主要作用是促进强大的自动解释即使在嘈杂或杂乱或者感兴趣的对象的部分可能被遮挡图像。如果模型是非特异性的，在某种意义上说，它是能变形，以表示它们是不是类的有效实例对象的认可，那么这种稳健性受到损害。我们的目标是开发模式，只能在它们所代表的对象的特有的方式变形。在一般情况下，其可变性引起的机制不足够很好的理解，以允许提出变形的理论模型。唯一现实的办法是从有代表性的训练集结构的“学习”变化的特定模式来进行建模。其他人试图通过将模型参数限制从训练集确定其分布的基础上，类似的东西。如果象通常的情况中，模型参数在训练集合相关，这种方法不能有效地限制可产生于那些类似于在原始训练组（见图1）中发现的形状。我们的做法是找到形状表示，其中形状参数是在训练集不相关的基础。在这种情况下对每个参数的简单限制约束模型来生成类似的在训练集中的形状。我们还表明，它是直接在图像解译使用这些模型。

图1：如果两个或更多形状的参数（s1和s2）是在一组形状的相关然后简单的范围的参数不限制的形状，以那些类似于原始集合。

 

3.点分布模型

图2：印刷电路板的图像显示了电阻器的例子

图3：从训练集中电阻形状的例子。

假设我们希望得到一个模型，因为它们出现在印刷电路板上来表示电阻器的形状，如图2电阻器的不同示例具有足够不同的形状，使得一个刚性模型是不恰当的。图3示出了从各个电阻的背光图像获得的电阻器的边界的一些例子。我们的目标是建立描述两种典型的形状和典型变化的模型，

使用图3的实施例中作为训练集。我们通过表示各实施例中作为一组标记的“里程碑”的点，计算该点的平均值的位置，并且其中从每个实施例中的点倾向于从平均值变化的主要方式实现这一点。
 

3.1 标注的训练集

图4：边界的三十二个点模型

 

为了形状模型中，我们通过一组点的代表。对于电阻器，我们选择放置的边界周围的点，如示于图4。这必须在训练集中的每一个的形状来完成。该点的标签是非常重要的。每个标记点表示该对象或其边界的特定部分。例如，在电阻器模型，点0和31总是代表一个金属丝的端部，分3，4，和5代表了电阻器的主体的一端，并依此类推。该方法通过模拟标记点有什么不同倾向的形状各异一起移动。如果标记是不正确，与放置在每个训练形状不同的网站上的特定点，则该方法将无法可靠地捕获形状可变性。在点以下所示的实施例中任一手动放置在每个图像上，或工具被用来标记在手工分割边界点。值得注意的是，点仅在训练阶段期间手动放置；没有必要提前找到这些点，当模型用于图像解释，我们后来如何被隐含使用自动方法实现形容。

 

Bookstein [16，17]在生物学和医学标本的图像，以便检查和测量可以与其它因素相关联形状的改变标记的显著点。我们使用代表点来捕捉形状制约因素，并可以用于构造形状的图像解释使用似是而非的新实例模型。 Bookstein称他的代表点“标志点”，并介绍了他们在实用性方面。对于我们而言，他们可以减少到三种不同类型：
　　1.点标记与特定应用程序相关的显着性，诸如眼睛的面部或边界的尖角的模型的中心的对象的部分；
　　2.点标记与应用程序无关的事，诸如在一个特定的取向的物体，或曲率极值上的最高点；

　　3.可以从类型1和2的点被内插的其它点；例如，蓬标记以相同的间距圆2层1类型的地标之间的边界。

 在图4所示的点0，3，5，10等标记容易识别的特征，因此是类型1。其它点等间距分布之间的边界间隔开，等等都是类型3地标点类型的点的电阻器I型是优选的那些类型2的，因为它们是在一般更容易识别准确。然而，2型和3型的点几乎总是必要定义足够详细的柔性形状的边界是有用的。
 需要注意的是标志性的点是非常重要的，可以用来描述单个对象或一组空间相关的对象，该点可能来自结构的几个不同的组件。通常我们使用的边界点，和准边界节段用适当的对标志点。虽然我们已经实现并研究利用样条插值生成使用最少的一组，我们发现，简单地用足够的类型3点来描述曲线足够的精度是有效的，在计算上更高效地标边界。

 

3.2 对齐训练集
我们的建模方法通过检查了训练集的标记点的坐标的统计数据。为了能够等效点从不同的形状比较，它们必须相对于一组轴的对准。我们通过缩放，旋转和平移训练的形状，使他们尽可能紧密对应地实现所需的对准。我们的目标是尽量减少对不同形状的等效点之间的距离的平方的加权和。这是Procrustes(普鲁克)方法[24]的变形例。
 我们首先考虑对准一对形状。令x是描述在该组的第i个形状的n个点的矢量：

 

设是通过旋转和由缩放s。给定两个相似的形状