普林斯顿大学形状基准

摘要

最近几年，提出了许多形状描述符和几何学算法用于匹配3D形状。通常，每一个方法是在很小的三维模型数据集上进行试验并且这些数据集各不相同，因此没有直接用于比较各种方法优劣的评价方式。

本文提出了普林斯顿形状基准(PSB)，从万维网上收集了三维模型组成一个公开三维模型库，并且提供一套工具用于相似性度量和分类。该模型库的一个特点是对每个三维模型提供多个语义标签。例如，三维模型分类标准基于其功能的标签，并且还包含功能和形式的标签，还有构造方式不同形成的标签。(即从不同角度描述三维模型赋予其不同类型的标签，例如一类人造物品对应天然物品)

这些类别的检索实验显示出基于形状检索算法的不同的性质。例如，12种形状描述符的对比实验中，扩展高斯图(Extended Gaussian Images)[13]很好的区别人造物品和天然物品，但在区分特殊物品类时效果最差。基于若干种形状描述符的对比试验，表明了对于所有类别的三维模型没有一种描述符是最好的，因此本文主要工作是提供了一个框架来确定在哪种条件下每种形状描述符检索效果最优。

关键词

形状检索；相似性匹配；三维模型库；评价基准

1.   引言

在计算机视觉，机械CAD，考古学，分子生物学，古生物学，医学，计算机图形学等众多领域里基于形状的三维模型检索和匹配是一个基础性的问题。[3,25]

尽管3D图像表示和匹配算法已有数十年的研究[20,33]，但是仍然没有标准衡量不同的方法得到相同的检索效果。通常，匹配的结果是根据人工分类进行评估。然而每一个研究小组都有各自的三维模型库，各自的分类标准，各自的测试工具集，和各自的度量方法。此外，很少公开比较几种方法在同一数据集上的实验结果。[4,10,19,36]

本文介绍了普林斯顿形状基准(PSB),一个三维模型公开库，测试工具集，度量三维模型相似性的标准实验集。数据集包含从万维网上收集的1814个多边形三维模型并根据功能和形式进行人工分类。它包含一组层次分类后的三维模型，单独的训练集和测试集，每个三维模型的注释，和用于三维模型匹配结果生成，分析，可视化的工具集。

这个基准的一个有趣特性是它提供一种机制用于定义多分类和查询集,而它们能区分不同匹配算法的属性。基本分类标准是结合语义和形状层级。例如，一个桌子三维模型可以是“一条腿的圆桌”这一类，同时也可以是粗糙类“圆桌”，“桌子”，“家具”，“人造物”类别。这个基准也包含几个查询集，目的是区分匹配算法对于三维模型的特定属性。(例如最高深度复杂性)通过评价这些不同类别和查询集的检索结果，可以发现不同形状匹配算法的区别。因此，可以表明“方法X在某个类别更优，而方法Y在某个类别更优”，而不是简单的显示“平均来看方法X优于方法Y”。

本文主要贡献是提供一个用于比较形状匹配的算法的框架。通过比较12种不同的特征描述符来显示框架的用法，这些特征描述符包括D2形分布[23]，扩展高斯图[13,15]，形状直方图[1]，球形扩展函数[27,35]，高斯欧氏距离变换[16]，球形调和描述符[16]，广场描述符[4].

对于所有类别，没有哪一种形状描述符检索效果最优，也没有哪一个类别最好的评价所有形状描述符。因此，通过查看不同实验结果，可以理解不同形状描述符旨在测试出特殊属性。普林斯顿大学基准提供标准的框架用于这种类型的实验。

2.   相关工作

在许多领域，基准提供了良好的说明。例如，在计算机体系结构中，SPEC基准[28]成功的用于比较处理器的性能。在文本文档检索中，智能收集(Smart Collection)[26]和TREC数据库[31]提供标准基准。在计算机视觉中，基准测试可用于手写体识别[18]，面部识别[5]，和一些其他图像分析工作[6]。也有基准数据库用于特殊3D数据，例如CAD部分[9]和蛋白质结构[2].

现在没有一个基准用于匹配互联网上呈现的3D多边形模型。相反，许多研究团队各自收集三维模型库，生成不同的类别，运行不同的测试集合，使用不同的指标来量化性能，并比较形状描述符。

表1显示了当前若干3D模型数据库用于形状匹配实验的统计。对于每个数据集，表中显示三维模型库的模型数量，类别数量，已经分类的三维模型数量，最大类中三维模型的数量。表2显示了评价不同三维模型属于不同的类别的百分比。(类别有车辆，家庭，动物，植物，建筑)每个表的最后一行显示普林斯顿三维模型库的统计数据作为参照对象。

表1 三维模型数据库对比

数据库	模型数量	类别数量	已分类模型数量	最大类别百分比
Osada [23]	133	25	133	20%
MPEG-7 [38]	1300	15	227	15%
Hilaga [12]	230	32	230	15%
Technion [19]	1068	17	258	10%
Zaharia [39]	1300	23	362	14%
CCCC [35]	1841	54	416	13%
Utrecht [30]	684	6	512	47%
Taiwan [4]	1833	47	549	12%
Viewpoint [10]	1890	85	1280	12%
PSB	6670	161	1814	6%

 

首先，大多数之前的模型库包含少量分类模型。例如，Osada模型库[23]只有133个用于实验的三维模型[30]。一些模型库的类别仅包含2个模型，这很难在统计上获得显著的分类实验结果。此外，某些模型库包含数量虽然很大，但是只有小部分已经归类。例如，MPEG-7

数据库[38]包含1300个VRML格式的三维模型。但是仅有227(18%)个三维模型是标有类别的标签，绝大多数的三维模型归为其他类别作为匹配试验中的干扰集合。文献[10]中提到超过1000个分好类别的三维模型是Viewpoint数据库[34]。但是购买此数据库十分昂贵，对于多数研究小组难以获得，因此它并不能成为一个标准的基准。(先是分析表中数据，找到各自的缺点，来显示自己作此研究的重要性)

其次，如图2所示，多数三维模型库包含一个有限对象范围并且主要由一个小的集合类别。例如，Viewpoint数据库[10]仅包含家庭类物体，Utrecht数据库[30]主要包含车辆类物体。即使某些数据库类别广泛，但是少量类别和大量三维模型是不成比例的。例如，MPEG-7的227个物体包含50个(22%)代表字母表的三维模型，Osada数据库133个物体中有27个(20%)飞机。包含大量三维模型的类别对平均检索结果会有明显的偏差。(一个现象和不好的地方，一个例子解释)

表2 三维模型库中不同类别

	车辆	家具	动物	植物	家庭	建筑
Osada	47%	12%	12%	0%	24 %	0%
MPEG-7	12%	0%	14%	13%	0%	7%
Hilaga	12%	0%	23%	2%	12%	0%
Zaharia	35%	0%	7%	7%	11%	0%
CCCC	33%	13%	21%	5%	25%	0%
Utrecht	73%	0%	0%	0%	0%	0%
Taiwan	44%	13%	0%	0%	36%	0%
Viewpoint	0%	42%	1%	0%	50%	0%
PSB	26%	11%	16%	8%	22%	6%

 

第三，当前3D模型类别有显著不同的尺度。一些模型库的类别包含大量三维模型，多样性物体，例如厨房用具[12]，而另一些类别包含少量特殊类别，例如三轮摩托车[39]。台湾国立大学数据库[4]有一单个类别包含所有类型的椅子(沙发，桌椅，食堂椅子，天井椅子，靠椅，长凳，凳子)，而Viewpoint数据库[10]对每个类型都有独立的类别。这一分类尺度差别对检索和分类结果都有影响，并且不同检索方法的差异可能被太粗或者太细的类别而掩盖。

最后，许多三维模型库的类别有多种功能和形式。例如，MPEG-7数据库包含几个有着相似语义的类别(例如“建筑”)，而其他类别仅在于他们的形状(如“空气动力学”类包含鱼，直升机，飞机)。同样，Hilaga数据库[12]包含一些不对应的类别，例如功能“机器”和直接形状(“圈”、“甜甜圈”、“球”、“孔”)对应。基于这些不同类别的平均检索结果，很难得到一个匹配算法何时、为什么效果良好。

3.   概述

普林斯顿大学基准提供一个三维模型库和用于匹配性状相似性的一组工具。目的是方便使用标准数据集和用于匹配检索、分类、聚类和识别三维模型提供评价标准。

第一版基准从293个网址收集了1814个三维模型。对于每个三维模型，都有一个包含多边形表面的off格式文件，一个包含元数据信息的文本文件和一个包含此模型缩略图的jpg图片。下一版本希望获得更多三维模型。

除了三维模型库，基准还提供配套使用教程。例如，三维模型等分成训练集和测试集。这个基准只需要检索方法在训练集上训练而不影响测试集；然后经过训练，算法中所有参数都已确定，只需要提供测试集的结果。

为了能够评价用于检索和分类的形状匹配算法，本基准使用一个简单机制来划分三维模型到不同的类别。在第一版中，对于1814个三维模型(907个测试集和907个训练集)按层级归类。最好的尺度是按功能和形式提供严格的分类标准。例如，测试集中“飞翔的鸟”这一类。这也包含层级结构，而层级结构主要反映每个对象的功能，其次是形式。沿此层级结构继续往上，有“鸟”类别，“会飞的生物”类别，“动物”类别等粗糙集。注意，各个级别的层级结构对于不同类型的评估时十分有用的。

因为对于一个给定的三维模型集，都有许多语义可以分组，因此本基准提供一种灵活的机制来制定多分类。它还包含一种方法用于平均查询特定几何属性的三维模型(例如，“粗糙球体”)。关于这些不同类别和查询域关于匹配算法属性的见解能得到匹配结果(例如算法X在圆物体检索效果好而在长物体检索效果差)，这给多分类结果的结合提供一个关于不同算法的更完整观点。

为了更加合理的分析形状匹配算法得到的结果，本基准提供源码的核心部分用于评价和三维模型可视化。例如有如下几个程序：(1)生成查全率查准率曲线(2)检索标准的计算，NN，第一、二层级，DCG等(3)生成彩色相似度矩阵(4)用于web页面上的给定查询模型构建最好的三维模型排序结果。这些程序提供运行在不同的测试集上得到相同的评价指标。

总之，本基准提供一个方便的框架用于比较不同的匹配算法。本文的其他部分介绍了许多设计相法和此问题实施过程中的种种问题。本文第4到6节详细描述三维模型库的建立，以及模型分类和注释。第7节描述用于评价匹配算法的工具，第8节会有和若干算法的对比评价结果。第9节是总结和提出未来研究的问题。

4.   模型库的建立

PSB中的三维模型库是通过三个网络爬虫耗时两年从万维网上获得。本节描述寻找三维模型，去除重复的数据，转化成统一的格式以及组织成一个数据库。

第一个爬虫于2001年10月开始启动并只收集VRML格式。从网页中包含有wrl和wrz格式数据开始爬取，并搜索广度优先的网页。爬虫运行48小时就从2185个不同站点下载了22243个VRML文件[21]。

第二个爬虫于2002年8月开始启动收集VRML、3D Studio、Autocad、Wavefront、Lightwave格式的文件，包含普通链接和压缩文件(tar,zip)。不像VRML，其他的格式不能在网页上呈现，均以压缩文件形式出现，所以不能通过类型扩展名得到他们。相反，第二个爬虫采用集中式方法进行搜索，包含三维模型的站点都是排好序的网页。这个爬虫运行2天零16个小时得到了13217个三维模型和5539个包含三维模型的压缩文件。经过解压，一共从455个站点上获得20084个三维模型[21]。

第三个爬虫于2003年8月开始启动从已知的三维模型站点爬取(如3dcafe和avalon.viewpoint.com)。这个爬虫运行大约5个小时从16个站点获取到1908个三维模型。

三个爬虫得到了44235个模型文件。由于第二个爬虫得到的3763个三维模型的url已经存在于第一个爬虫里，所以删除。之后6863个三维模型需要丢弃因为它们不能解析成我们需要的格式[22]。再之后丢弃了15035个三维模型因为它们的形状是数据库中其他模型的复制品或者形状重复。例如在不同url的相同三维模型(483个球)，它们有着相同的结构但是不同的颜色或者纹理。最终，11904个三维模型需要丢弃因为它们不属于我们基准所定义的应用域。换言之，只保留日常物体而丢弃分子结构，CAD部件，可视化数据，抽象几何形状等模型。保留的三维模型形成了PSB的数据库。从661个不同的网址获得总共6670个独一无二的三维模型。

所有剩下的三维模型统一转换成off格式，这种格式是Minnesota大学几何中心的一种简单多边形格式。在转换过程中，所有颜色，纹理，场景信息都被消除，只保留简单的面索引集中的顶点和多边形集。在第一版本基准中只选择这些简单文件的目的是把重点放在只匹配几何表面信息。

5.   分类

PSB基准把三维模型库分为测试集和训练集并且把测试集分成若干类别用于形状匹配，检索和分类实验。本节首先说明模型如何分类，其次说明如何形成测试集和训练集。最后说明如何产生机制来代替人工创建分类。

5.1.     基本分类

对此三维模型库采用人工分类以得到好的分类尺度。此过程的目标是首先根据语义和功能(如家具，桌子)概念，其次根据形状属性(如圆桌)来聚类模型。利用这种先分组再分层的策略形成多分类的尺度。

用于得到基本分类的过程如下。首先，得到这6670个三维模型的极小图存入一个单目录的文件系统中。然后，两名学生使用windows资源管理器创建代表对象类别的目录，并且移动这些缩略图到表示它们类别的目录下。这个过程是迭代执行，直到每一个类别都代表了不可分的概念(如汉语字典中的字)。然后基于几何属性若干类进一步划分(如抬起手的人和放下手的人)。对这两名学生而言没有文本信息只有模型号ID(例如隐藏文件名)。这样可以认为这两名学生没有任何辅助信息且无偏见的分类。这个过程最终使得6670个三维模型构成1271个类别。

许多类别仅包含少量模型。例如，只有两个钻压和三个消防栓的类别。因此，人工选择161类，每一类包含至少4个模型形成了第一版的三维模型库。为保证每一类包含至少100个模型(6%的分类模型)，这里从某些包含大量三维模型的类别删除部分模型。基本分类的最终结果是包含1814个三维模型的161类。

5.2.     测试集和训练集

然后将基本分类的模型分成训练集和测试集。目标是尽可能的均匀分类产生两个相似类别的集合，但不会分成更小的类，也不会更改模型的数量。为了满足这些条件，采用如下步骤进行。首先，包含20个或者更多的模型的类别会平均分配到训练集和测试集(从相同网址下载的三维模型是均匀分布的)。对于每种模型的类别(植物，动物，车辆等)，以两边都有相同数量的类别这种方式，把包含少量模型的类别交替的放在训练集和测试集。最后，通过人工交换一些数量少的类别可以得到训练集和测试集都有相同数量的模型。最终分类结果是一个有着90类的共907个三维模型用于训练匹配算法的参数和一个有着92类的共907个三维模型用于比较匹配算法。表3显示两个集合的类别。

表3 训练集和测试集见原文，此表太大。

 

5.3.     选择性分类

对于给定的三维模型集，有许多可能的分类。例如，一个人可以按基本功能分类，亦可以按照人工与天然分类。关于多分类的形状检索实验结果很有意义，因为它们提供的都是在相同情况下各种检索方法性能的好坏。多分类的累积实验结果比单个类别的实验结果更有说服力。

为了支持多分类，本基准包含一种简单语言用于帮助研究人员定义新的分类。简单地说，一个ASCII文件用于指定某层级的类名并指明哪些模型属于某些类。使用这种语言可以创建基本分类三种可选项，每一种代表分组的不同尺度。例如，一个粗糙集合并所有类型的桌子作为单个类，一个粗糙集合并所有家具作为单个类，一个最粗糙集基于物体是否是人造物或者天然物。在第8节使用可选分类用于形状匹配算法的比较。

未来其他研究人员可以使用此语言定义新的类别而不是本研究小组来定义，这样会增加新的实验用于形状匹配算法的比较。

1.   注释

对于模型库中的每个三维模型，本基准都包含几种辅助信息。例如，以下提供的元数据是用于帮助识别每个三维模型的源体和类型：

模型URL：万维网上的网址。URL的最后一部分提供模型的文件名，对语义标签有所帮助。更为重要的是URL可用于联系模型的作者提供三维模型属性等的帮助。

相关URL：三维模型的网上地址。如果该网址存在，那么网上的上下文信息会提供一些帮助信息。

缩略图：从某个视点可以看到图像的颜色、纹理的三维模型形状图。本图对于此三维模型最初是什么样子提供帮助。

此外，对于每个三维模型本基准都列出若干几何属性(例如多边形的数量，平均二面角的角度，各个视角的平均深度)，这些可用于识别数据库的子集。虽然这些属性可以从三维模型中得到，似乎有些多余，但是它们提供一个标准化的数值集合，可以避免引起匹配结果差异不同而造成的影响。例如，下列属性对于统一三维模型满足平移不变性、缩放不变性、旋转不变性提供了有用的数据：

质心：所有多边形的顶点的中心，用于平移三维模型。

缩放：三维模型表面顶点到中心的距离的平均值。用于满足缩放不变性。

主轴：PCA变换的主轴。

2.   评价

本基准包含若干个工具用于评测各种形状匹配算法的优劣。这些工具假定每一个算法采用距离度量每一对三维模型，产生的距离值(正值)越小说明模型越相似，相反越大说明模型差异越大。因此，给定一种形状匹配算法和三维模型库，就可以产生一个距离矩阵。矩阵的元素(i,j)代表三维模型i和j之间的距离。同样，对于给定的三维模型Q，可以根据其他三维模型和三维模型Q之间的距离按照从好到坏排序。如果Q作为基于形状检索的查询模型，那么这一排序结果对应于检索结果。

给定一个类别和由任何形状匹配算法确定的距离矩阵，一套PSB基准工具能得到统计数值和数据可视化，这些使得匹配结果的评价十分方便(例如，与待检索模型处于同一类的三维模型，有多少处于最优排序位置)。虽然这些统计数据都不是最新的，但是配有详细的描述信息可以使得这些工具和第8节的结果更好的理解。

最优匹配(Best matches)：最优匹配表示显示每个三维模型的最优匹配排序结果的网页。相关的排序和距离值出现在每个图像上，每个三维模型的图像在查询类中根据点击率来加亮显示。这一简单的可视化工具提供了一个定性评价工具用于模拟三维模型检索引擎。(例如，[4,8,10,17,24,29,35,37,40])

查全率查准率曲线(Precision-recall plot):在匹配结果排序列表中用于描述查全率和查准率之间关键的图像。对于C类别中的任何查询模型和排序结果中前K个结果，查全率(水平轴)代表了K个结果中是C类别的个数与C类别总个数的比率，查准率代表了K个结果中是C类别的个数与K的比率。一个好的检索结果表明与待检索模型属于同一类的三维模型排在检索结果的前面位置。否则，上移的曲线代表更好的检索结果(见图2)。

距离图(Distance image)：一幅代表距离矩阵的图像中，每一个像素的亮度是由三维模型i和j[23]之间的距离比值所决定。三维模型是沿着每条轴根据类别进行分组，对单个类别增加分割线，这样可以定性的评价匹配结果，即最优结果是一组最暗像素，只有沿着对角线按类分块的才有像素值，这表明每个三维模型都与她所在类别的三维模型相匹配。否则，糟糕的匹配结果就能从图像上显示，例如对角线外的黑色像素表明两类匹配效果良好。

层级图(Tier image)：一幅可视化图像的最邻近邻居，第一层级，第二层级[23]。具体来说，对于每一行代表一个查询模型j，三维模型j属于有着C个元素的类。像素(i,j)是：(a)黑色如果三维模型i是三维模型j或者它的最邻近模型，(b)红色如果三维模型i属于C个最优匹配结果(第一层级),蓝色如果三维模型i属于2C个最优匹配结果(第二层级)。与距离图像一样，三维模型也是按轴根据类别进行分组，对单个类别增加分割线。这幅图像比距离图像更有用，原因是对于每个三维模型的最佳匹配结果清楚地显示，而忽略它们之间的距离值。最佳结果是一组红/黑，按类分块沿着对角线颜色明亮、其他位置黑暗的图像。图1显示了一个沿着对角线有着更多颜色的图像。(图1、2见原文)

除了这些定性的可视化图像，本基准还包括一些工具用于评价每个算法的定性的统计计算。通过平均所有查询模型和在匹配结果中除去查询模型得到统计结果。然而，本基准的工具同样支持每个查询模型的单独统计，每一类别的平均统计，每一类别的平均的平均统计，用户提供查询模型集的平均。作为8.4节将要显示的，最后的特征对于匹配算法有某些特殊属性有所帮助。具体的说，这些工具计算了：

最邻近邻居(Nearest neighbor):最邻近匹配的比率属于同一类别作为查询。这一指标显示最邻近分类器如何执行。显然，理想的分数是100%，并且越高得分代表结果越好。(表4的第5列)

第一层级和第二层级(First-tier,Second-tier)：设查询模型为Q，则表示查询结果集前K个中出现与查询模型同属一类的三维模型，其中K依赖于查询类的大小。对于第一层级K为C-1，第二层级K为2(C-1).第一层级统计表明对于最小结果集K中召回率可能100%，而第二层级就不会那么严格。这些统计已经被MEPG-7视觉描述子所采用。理想情况下，最好的匹配结果得分为100%，越高得分表示结果越好。(表4中第6列和第7列)

E-Measure:对于固定数量的检索结果，它是综合查全率和查准率的指标[32]。对于用户来说，查看第一页内容的可能性远大于后几页。因此，这一测量方法考虑到对于每个查询模型的前32个检索结果，并计算这些结果中的查全率和查准率。E-Measure定义如下[32,19]:

E-Measure相当于van Rijsbergen定义的E-measure减去1.最高分为1.0，并且分数越高代表结果越好。(表4的第8列)

增益值(Discounted Cumulative Gain):假设用户对排序结果中排在后面的结果不感兴趣，则此统计值表示排在前面的结果的权重大于排在后面的结果的权重。排序列表R转换成列表G，如果元素Ri是正确模型则Gi为1，否则为0.DCG定义如下[14]：

 

这个结果通过除以最优排序结果(例如如果前C个元素都是正确结果将会得到好的DCG结果，这里C为包含查询类的类别的三维模型数)得到最终分数：

 

这里K为数据库中三维模型的数量(表4中第9列)。

整个查询结果列表通过折扣增益值获得[19]，所以可以采用此方法比较各种算法。通常采用“normalized DCG”，更能表现各种形状匹配算法的优劣，定义如下：

 

这里 表示A算法得到的DCG值， 是在相同情况下所有算法的平均DCG值。正负NDCG表示优于/次于平均效果，越高表示结果越好。(表4最后一列)

3.   结果

为了说明本基准的实用性，这里选择它来度量文献中的12种形状匹配算法。尽管这些实验结果与其本身相关，而本文关注的是通过本基准的数据库，分类标准，注释和评测方法来理解各种算法的不同。本文假设没有这些基准工具，难以去学习算法和发现它们的不同。

3.1.     形状描述子

12种形状匹配算法大体可以分为三个步骤:首先使得三维模型规范化，满足平移不变性、缩放不变性、旋转不变性；其次对每个三维模型构造一个形状描述子；最后除非特殊标注，一般利用L2距离计算每两个形状描述子之间的距离。这12种方法如下：

D2形分布(D2 Shape Distribution,D2):三维模型任意两个顶点间的距离直方图[23]。

扩展高斯图(Extended Gaussian Image,EGI):球形函数产生表面法线的分布[13]。

扩展复高斯图(Complex Extended Gaussian Image,CEGI):复值球形函数产生法线的分布结合表面法线的分布[15]。

形状直方图(Shape Histogram,SHELLS):从中心到表面顶点的距离直方图[1]。

形状直方图(Shape Histogram,SECTORS):球形函数形成的三维模型分布区域作为球形角度[1]。（这方法没看，所以翻译的不准）

形状直方图(Shape Histogram,SECSHEL):一组球形函数形成的三维模型分布区域作为一个函数的半径和角度[1]。（这方法没看，所以翻译的不准）

体素化(Voxel):一种二进制光栅使得三维模型边界形成体素网格。

球形扩展函数(Spherical Extent Function,EXT):球形函数离中心最远距离作为球形角度函数。

辐射球形扩展函数(Radialized Spherical Extent Function,REXT): 球形函数离中心最远距离作为球形角度和半径的函数。

高斯欧氏距离变换(Gaussian Euclidean Distance Transform,GEDT):在三维模型每个顶点由高斯得到的三维函数和三维模型顶点的欧氏距离变换得到。

球形调和描述子(Spherical Harmonic Descriptor,SHD):满足旋转不变性的GEDT。

光场描述子(Light Field Descriptor,LFD):从固定视点得到的一系列投影图像得到三维模型的描述子[4]。

光场描述子在windows PC机上运行，CPU为奔腾4，主频为2.4GHz，内存256M，显卡为英伟达MX2，其他计算均在Windows PC机上运行，CPU为奔腾4处理器，主频2GHz，内存512M。

3.2.     基本分类结果

12种形状匹配算法在测试集上进行试验，利用基准的评测方法进行评价，训练集不参与这些方法的训练。图2显示本实验的查全率查准率曲线，表4显示了12种方法的评测指标对比结果。

实验结果表明，LFD方法得到的检索结果最好。尽管期望三维的描述子得到的检索结果比二维的描述子较好，但结果却恰恰相反。然而，基于视觉的描述子所花时间比其他描述子较多，原因是需要匹配更多的图像来满足检索结果。在这12种方法中，REXT，SHD，GEDT，EXT得到的检索效果均较好。REXT提供的结果稍微差于其他描述子，而SHD和EXT用于匹配的时间更少，存储空间更小，所以这两种方法确实不错。效果最不好的方法是D2描述子和SHELLS方法。然而它们的速度也快，存储空间也小，可能适用于特定领域。

综上所述，没有一种形状描述子能在各方面优于其他描述子。

3.3.     多分类结果

第二个实验主要测试可选择分类对检索结果的影响。具体流程是，首先在907个测试集上选择三个粗糙集作为实验对象，然后测试这些不同类别对形状匹配算法的影响。

基本分类再试验中提供最优尺度，包含表3的92个类别。多数类别包含的物体有特殊的功能。然而，也有某些具有相同功能但划分到不同的类别，原因是根据它们的形式来划分。(如圆桌对方桌)在可选择分类中，采用递归的方式合并不同类别形成一个粗糙类别的分组。粗糙集合并大致功能相同的物体形成44类，再进一步合并形成表1中的6类，再加上一个其他类别包含在平均检索结果当中。最终，粗糙集合并成两类：一类人造物，一类天然物。

表6根据12种形状匹配算法的NDCG进行排序，并且4种不同分类的结果。首先，正如事先估计的一样，不同形状匹配算法之间的差异随着粗糙集而逐渐减小，即NDCG的值之间的差距变得越来越小。其次，对于不同的分类，形状匹配算法的排名发生显著变化。例如，EGI算法在基本类别中得到的检索结果为10.9%低于平均水平。而在粗糙集上为3.0%是最好的，高于平均。显然，EGI方法较好的区别人造物和天然物，但在特殊类别上效果不佳。据此可以认为：人造物在法线附近有很窄的区域有所分布，这使得EGI可以检测到。

这些结果提供了评价形状匹配算法时使用多分类的例子。在多分类上获得的信息远远多于在单一分类的结果。这些在语义分类的三维模型能使得各种形状匹配算法呈现出更多的差异。

3.4.     查询列表结果

第三个实验，通过进一步观察基本分类的平均模型集的特定属性得到的检索结果，来观察这12种形状匹配算法的不同属性。一些属性石语义上的(如一件家具)，一些是程序上的(如何其他成员组成一个类别)，还有时几何上的(如形状上呈直线)。通过比较这个实验的检索结果，希望可以得到每种形状匹配算法在何种条件下表现最好。

表5列出了按照语义上基本分类、按照程序上的基本分类、按照几何上的基本分类下12种形状匹配算法的NDCG结果。第一列作为一个参考对象，列出了所有模型的平均水平。接下来的六列(“动物”-“车”)表示6种语义上分类。下一列(“旋转对齐”)表明与其他三维模型进行对齐的类别。下一列(“直线形状”)列举超过200个形状类似直线的三维模型(由协方差矩阵的最大特征值与第二大特征值的比率决定)。最右边一列(“复杂形状”)列于超过200个复杂形状的三维模型(由20面体的每个视角的平行投影形成的投影深度图的像素所决定)。后面的属性直接由基准中的注释自动派生。

这些结果表明没有哪一种形状匹配算法能在所有的类别上得到较好的检索结果。尽管算法的排序相对稳定，但是在特定属性的类别上某些算法得到的效果存在巨大的差异。例如，在家庭类别上SECTORS算法得到效果好于EGI算法(平均为4.0%vs平均以下21.4%)，然而在树类别上恰恰相反(平均以上21.4%vs平均以下11.8%)。同样，检索结果排序最好的算法(LFD，REXT，SHD)与其他算法(和所有模型相比各自差了6.5%，3.3%，5.3%)在条形三维模型上检索效果相比并不好。一种可能是因为条形的主轴一致性并且这些描述符消除了高频信息。最后，注意到在“旋转一致”模型类的查询得到显著不同的查询结果，这表明在规范化这一步中不一致的三维模型导致不同的算法的检索结果受到影响(GEDT,SECSHEL,VOXEL,SECTORS)。

3.5.     与其他数据库比较

在最后一个实验中，选择本基准(PSB)与文献[10,23,30,35,38]的模型库作为对比试验。目的是验证本文的实验得到的结果是否和这些文献得到的结果一致。

表7显示了12中算法在6个数据库上的NDCG结果。从表7可知，Osada[23]和MPEG-7[38]数据库得到的结果与其他的结果不太一致。造成这种原因是这两个数据库包含的三维模型数量少(各自为133和227)，并且模型类别也少。Utrecht[30]数据库几乎都是飞机类三维模型，这很好的解释了检索结果几乎没有变化。同时，其他三种数据库得到的算法排序结果几乎一致。造成略微不同的原因是模型库中的模型类别不同。

4.   结论

总之，本文提出普林斯顿形状基准，用于比较形状匹配算法的基准。这一基准包含三维模型库，多种分类，以及配套的评价软件。所有信息都可从以下网站获得。(http://shape.cs.princeton.edu/benchmark)

本文主要工作是提供一种方法用来比较各种形状匹配算法。通过对不同类别和查询列表的实验，得到各种形状匹配算法的不同之处。例如，使用这种方法能够得到EGI算法能很好的区别人造物和天然物，在对于其他类别得到的效果却不好。同样，通过此次实验发现，利用多个二维投影图像的LFD方法得到的检索效果最好，但是所需较高的存储控件和计算时间。希望通过这个实验结果，使得更多的研究人员自己创建新的类别和查询集。并且，希望未来能够有一个通用的测试集作为形状匹配算法的标准三维模型库。

本文提出几个未来的研究点。首先，基准应该扩展到支持其他形状分析任务，例如识别，图像配准和检索。作为第一步，本文希望提供人工注释使得评价图像自动配准更方便，并且将在下一版本中剔除更好的评价指标。第二，将要进行多分类实验。8.4节说明可以建造一个自适应的多分类器，首先检查给定的查询模型的几何属性，然后动态的设定权重并通过几个形状匹配算法得到更好的结果，如[11].最后，随着本基准的三维模型的增多，将会考虑三维模型的几何属性和非几何属性作为多分类器（例如颜色，纹理，场景图结构，文本注释等）。本文对未来的研究提供了基础性的基准。