【笔记】Highly Accurate Dichotomous Image Segmentation

高精度的二分法图像分割

二分法图像分割（DIS）旨在从自然图像中分割出高度精确的物体。本作团队做出了以下三种贡献：

1. 制作了一个大规模的数据集DIS5K，其中包含5,470张高分辨率（如2K、4K或更大）图像，涵盖了各种背景下的隐色的、突出的或细小的物体。所有图像都有极其精细的标签注释。
2. 提出了一个简单的中继监督优化网络（ISNet），使用特征和掩码进行DIS模型训练。
3. 设计了一个新的指标，称为人为矫正工作数（human correction efforts，HCE，如果有谁能想出更好的翻译欢迎评论区或者私信修改 ），它代表了人类手动纠正模型的错误的对错选择，所需鼠标点击操作的数量。HCE被用来衡量模型和现实世界应用之间的差距，因此可以补充现有的指标。

本作作者团队的DIS5K数据集、IS-Net基线、HCE指标和完整的基准在以下网站公开发布：https://xuebinqin.github.io/dis/index.html.

一，介绍

多年来，驱动大量人工智能（AI）模型的计算机视觉数据集中的注释的准确性在某种程度上满足了机器感知系统的要求。然而，人工智能已经进入了一个要求计算机视觉算法高度准确输出的时代，以支持精细的人机互动和沉浸式虚拟生活。

图像分割，作为计算机视觉中最基本的技术之一，在使机器感知和理解真实世界方面发挥着重要作用。与图像分类和物体检测相比，它可以为广泛的应用中使用的目标提供更精确的几何描述，如图像编辑、三维重建、增强现实（AR）、卫星图像分析、医学图像处理、机器人操纵等。根据对现实世界物体的直接影响，我们可以将上述应用分为 “轻型”（如图像编辑和图像分析）和 “重型”（如制造和手术机器人）。
轻型 "应用对分割的偏差和失败相对宽容，因为这些问题主要是导致更多的劳动力和时间成本，而这些成本通常是可以承受的。而在 "重型 "应用中，这些偏差或故障更有可能造成严重的后果，通常是对物体的物理损害或伤害，有时对生物（如人类和动物）是致命的。因此，这些应用要求模型具有高度的准确性和稳健性。

目前，由于精度和鲁棒性的问题，大多数分割模型在这些 "重型 "应用中仍然不太适用，这限制了分割技术在更广泛的应用中发挥更重要的作用。本作的目标是在一个一般的框架内解决 "重 "和 "轻 "的应用，我们把这个任务称为二分法图像分割（DIS），其目的是从自然界的图像中分割出高度精确的物体。

然而，现有的图像分割任务主要集中在分割具有特定特征的物体，例如，salient、camouflaged、meticulous或特定的类别(specific categories)。他们大多数都有相同的输入/输出格式，并且几乎没有在模型中设计为分割目标而设计的专属机制，这意味着几乎所有的任务都是依赖于数据集。
因此，我们建议制定一个类别无关的DIS任务，该任务定义在没有冲突的标注上，用于准确分割具有不同结构复杂性的物体，而不考虑它们的特征。
与语义分割相比，本作提出的DIS任务则侧重于具有单一或少数目标的图像，从中获得每个目标的更丰富准确的细节是更可行的。因此做出以下四个贡献：

1. 一个大规模的、可扩展的DIS数据集，DIS5K，包含了5,470张高分辨率的图像，其中配备高度精确的二元分割掩码。
2. 通过中继监督优化网络建立一个新型基准网络IS-Net，，通过在高维特征空间中强制执行直接特征同步来减少过拟合。
3. 一个新设计的HCE指标，通过计算纠正错误区域所需的人为干预操作来衡量模型预测和现实世界应用之间的障碍程度。
4. 基于新的DIS5K，我们建立了完整的DIS基准。

（全文好长，我得先学一会再接着更新）