原网页：https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/segbench/
新增功能：BSDS500是BSDS300的扩展版本，包含200个新的测试图像，现在可在此处获得。
这项工作的目的是为图像分割和边界检测的研究提供经验基础。为此，我们从30个人类受试者中收集了12,000个手工标记的1,000个Corel数据集图像。一半的分割是通过向主体呈现彩色图像而获得的;另一半来自呈现灰度图像。基于该数据的公共基准包括300个图像的所有灰度和颜色分割。图像被分成200个图像的训练集和100个图像的测试集。
我们还为这些图像的子集生成了图形地标签，可在此处找到。
我们已经将这些数据用于开发新的边界检测算法，以及为该任务开发基准。您可以下载我们的边界检测器的MATLAB实现，以及运行基准测试的代码。我们致力于本着合作科学进步的精神维护基准结果的公共存储库。
在线浏览
数据集
基准测试结果
在所有这些页面上，图像，主题和算法之间存在许多交叉链接。 请注意，许多较小的图像都链接到完整版本。
下载
分割数据集
您可以免费下载部分数据集，用于非商业研究和教育目的。作为交换，我们仅要求您提供在测试集上运行分段或边界检测算法的结果，如下所述。基于数据集的工作应引用我们的ICCV 2001论文：
@InProceedings {MartinFTM01，
作者= {D。 Martin和C. Fowlkes以及D. Tal和J. Malik}，
title = {人体分割自然图像数据库及其数据库
应用于评估分割算法和算法
衡量生态统计}，
booktitle = {Proc。第八届国际会议计算机视觉}，
年= {2001}，
month = {July}，
volume = {2}，
pages = {416--423}
}
您可以单独下载[图像]（22MB）和[人体分割]（27MB）。如果你下载这两个，你可以安全地解决它们之间的问题。
/home/eecs/project/index.html您可以在此处找到分段文件格式的说明。
您还可以下载包含我们用于构建数据集的Java应用程序的tarball。您可能会发现它可用于创建自己图像的地面实况细分。
人类基准测试结果
如果您想生成包含算法基准测试结果的网页，那么您需要下载人类的基准测试结果。将此文件解压缩到一个新目录，该目录将成为基准测试结果的存储库。然后，您应该根据Dataset / README文件中的说明将算法的结果存入同一目录（这也是您需要的代码tarball;请参阅下文）。
基准和边界检测代码
这是代码的tarball，您也可以浏览它。你应该在一个新目录中解压缩它。解压后在该目录中运行gmake install应构建所有内容。 makefile将创建一个lib / matlab目录，您应将其放在MATLAB路径中。简而言之，子目录内容如下所列。
- 基准 - 运行基准和创建网页的代码。
- CSA ++ - 用于图形分配问题的Andrew Goldberg的CSA包的C ++和MATLAB包装。这是基准测试的计算核心，因为它允许我们比较两个边界图，同时允许本地化错误并避免过度计数。
- 数据集 - 用于访问图像和分段数据的便捷例程。您应确保下载BSDS数据集（参见上文），并编辑文件bsdsRoot.m以指向数据。
- 探测器 - 各种边界探测器的最终用户程序。我们的亮度/颜色/纹理梯度检测器在这里（pbBGTG.m和pbCGTG.m），以及基于图像梯度幅度和第二矩矩阵的基线检测器。
- 过滤器 - 用于创建高质量过滤器和快速过滤图像的例程。
- 渐变 - 有效计算亮度，颜色和纹理渐变的例程。
- Textons - 用于计算和操作纹理的代码，它是纹理渐变的基础。 unitex * .mat文件包含从BSDS300训练集计算的通用文本。
- Util - 其他所有的杂项支持代码。
以下文件可能特别有用：
提交基准测试结果
如果您有边界检测器或分割算法，则应将测试图像上的结果以8位灰度BMP图像的形式放置。这些图像应与基准图像（481x321像素）的大小相同，并且应命名为<iid> .bmp，其中<iid>是图像ID号。您还应该创建一个name.txt文件，其中包含算法的1行文本描述符，以及带有简短描述的可选about.html文件。描述可以包含html链接。
在上面的下载部分中，您将找到用于运行基准测试的代码以及用于生成网页的脚本。众所周知，此代码可在英特尔/ Linux平台上构建和运行。我们不支持Windows，尽管我们至少知道一种使用Cygwin在Windows上成功构建代码的情况。该代码也已在Mac Intel上成功构建（请参阅此处的注释）。您将需要Matlab来运行基准测试。如果您有合适的硬件和软件，请下载代码并自行运行基准测试。要提交结果，请在您的算法目录中打开并向我们发送一个URL，我们可以从中下载它。
如果您无法自己运行基准测试，那么您可以使用name.txt和about.html文件提交包含算法结果的tarball。我们将为您运行基准测试，但我们无法保证快速周转。
分割结果应该是二进制图像的形式，其中“1”标记分段边界像素。边界检测结果也可以采用这种形式，但我们强烈鼓励“软”边界表示。提交软输出将减轻您选择最佳阈值的负担，因为基准测试将为您找到此阈值。还要注意，为了获得最佳结果，边界应该变薄，例如，通过执行非最大值抑制。基准测试将处理较粗的边界，但我们对细边界进行的形态细化操作可能不适合您的算法。
请注意：虽然这应该不用说，但无论如何我们都会说。为了确保测试数据集上结果的完整性，您可以使用训练集中的图像和人工分割来调整算法，但是算法不应该访问测试集中的任何数据（图像或分段），直到您已完成设计和调整算法。
关于基准
“当你能衡量你所说的话并以数字表达时，你就会对它有所了解;但是当你无法衡量它时，当你无法用数字来表达它时，你的知识就是那种微薄而不尽如人意的。” - 凯尔文·阁下
基准测试的目标是为算法的边界生成分数，原因有两个：（1）因此可以将不同的算法相互比较，以及（2）因此可以跟踪人类绩效的进展。我们花了很多时间研究有意义的边界检测基准，我们将在此简要介绍。有关其他详细信息，请参阅我们的NIPS 2002和PAMI文章。请注意，我们已经确定的方法可以应用于任何边界数据集 - 而不仅仅是我们的人体分割自然图像数据集。
设置如下。人体分割图像提供了我们的地面真实边界。我们认为任何由人类主体标记的边界都是有效的。由于我们对不同主题的每个图像进行了多次分割，因此这些人类标记边界的集合构成了基本事实。然后我们呈现图像的一些算法的输出。让我们假设该输出是具有一个像素宽边界的软边界图，其值从0到1，其中高值表示对边界存在的更大置信度。我们的任务是确定这个软边界图近似于地面真实边界的程度。
传统上，人们会通过选择一些阈值来“边界化”边界图。阈值边界图有两个问题：（1）最佳阈值取决于应用程序，我们希望基准测试在不同的应用程序中有用，并且（2）对边界等低级特征进行阈值处理可能是对于大多数应用程序来说，这是一个坏主意，因为它会破坏大量信息由于这些原因，我们的基准测试在非阈值边界图上运行。
尽管如此，我们确实需要对边界图进行阈值处理，以便将其与地面真实边界进行比较，但我们在很多层面都这样做，例如： 30.在每个级别，我们计算两个量 - 精度和召回 - 并以这种方式产生算法的精确回忆曲线。精确度和召回率与ROC曲线的轴类似但不同。精度是机器生成的边界像素是真实边界像素的概率。召回是检测到真实边界像素的概率。我们认为这些轴是合理和直观的。精度是衡量探测器输出噪声的指标。召回是衡量有多少地面实况被发现的量度。该曲线显示了这两个量之间的固有权衡 - 在未命中和误报之间的权衡 - 随着检测器阈值的变化而变化。
虽然算法的精确回忆曲线是其性能的丰富描述符，但仍然希望将算法的性能提炼成单个数字。对于曲线不相交且大致平行的算法，这可以以有意义的方式进行。当两条精确回忆曲线不相交时，距离原点最远的曲线支配另一条曲线。我们使用的汇总统计量是这个距离的度量。它是F度量，它是精度和召回的调和平均值。 F-measure定义在精确回忆曲线的所有点上。我们将算法的精确回忆曲线中的最大F测量值报告为其汇总统计量。
为什么我们使用精确回忆曲线而不是ROC曲线？
接收器操作特性（ROC）曲线定性地显示了精确召回曲线显示的未命中和误报之间的相同权衡。但是，ROC曲线不适合量化边界检测。 ROC曲线的轴是余量和回忆。召回与上面相同，也称为命中率。辐射或误报率是真阴性标记为假阳性的概率。这对于边界检测器来说不是有意义的量，因为它不依赖于图像分辨率。如果我们将像素的半径减小n倍以使像素数量增加为n ^ 2，那么真实负数将在n中平方增长，而真阳性的数量将仅在n中线性增长。由于边界是一维物体，误报的数量最有可能也在n中线性增长，因此余量将下降1 / n倍。精确度没有这个问题，因为它不是通过真阴性的数量进行标准化，而是通过正数的数量来标准化。
本页面由Pablo Arbelaez，Charless Fowlkes和David Martin于2007年6月修改。
This page is maintained by Pablo Arbelaez, Charless Fowlkes and David Martin Last modified June, 2007.
211
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
