Information-Theoretic Segmentation by Inpainting Error Maximization总结笔记

向岸看

已于 2023-06-30 01:29:51 修改

阅读量396

点赞数

分类专栏： CVPR 2021 论文盘点文章标签：笔记

于 2023-05-08 14:53:32 首次发布

本文链接：https://blog.csdn.net/qq_45981086/article/details/130555157

版权

CVPR 2021 论文盘点专栏收录该内容

6 篇文章 0 订阅

订阅专栏

文章提出了InpaintingErrorMaximization(IEM)框架，用于解决无监督图像分割问题。IEM通过最大化图像修复误差进行分割，无需大量标注数据。该方法包括两个阶段，首先使用二值优化生成分割掩模，然后用这些掩模训练分割网络。在CUB、Flowers和LSUNCar数据集上的测试显示，IEM能生成分割标签，提高分割质量。

摘要由CSDN通过智能技术生成

论文：https://arxiv.org/pdf/2012.07287.pdf

源码：https://github.com/lolemacs/iem

一、《Inpainting Error Maximization》提出的提问和解决方法

一、《Inpainting Error Maximization》提出的提问和解决方法

《Inpainting Error Maximization》提出的提问：神经网络通常需要大量的手动标记的训练数据来达到最先进的性能。对于标记数据稀缺或昂贵的问题的适用性往往取决于从相关领域迁移学习到的表示的能力。

《Inpainting Error Maximization》提出的解决方法：引入了修复图像误差最大化（IEM）作为一种无监督分割的方法。这是一种新的对抗性方法，通过将图像划分为最大限度独立的集合来进行无监督的分割。

更具体地说：实验分为两个阶段，IEM是第一个阶段的主要组件。

在第一阶段，贪婪二值优化算法为每个图像独立地产生一个分割掩模，将每个像素分配给一个分区，目标是最大化修复图像误差。

第二阶段，其中我们从第一阶段选择修复误差最高的分割掩模，并使用它们作为标签监督来训练分割网络。

二、IEM框架

图像修复误差最大化（IEM）框架。给定一个未标记的图像X，一个掩码生成器模块首先产生分割掩模（例如，前景M和背景 $\bar{M}$ ）。每个掩模通过在掩模和图像之间执行元素乘积从原始图像中选择像素子集，从而将图像划分为区域。图像修复模块试图重建给定分区中所有其他区域的每个区域，IEM损失被定义为修复图像误差的加权求和。

通过IEM进行分割过程：

二进制分割掩模M 分割后的图像

首先，前景和背景图像F∈ $R^{C\times H\times W}$ 和B∈ $R^{C\times H\times W}$ 分别独立于 $D_{F}$ 和 $D_{B}$ 分布绘制。然后，二进制分割掩模M(F，B) ∈ M = $\{0,1\}^{1\times H\times W}$ ，明确地生成F和B。最后，将前景和背景组成为图像X。 $\odot$ 为Hadamard运算，即对同等大小的两个矩阵相同位置上进行乘积。

三、IEM LOSS

设 $\textit{L}_{inp}$ 将上述目标表示为M的函数。

四、测试

数据集： Caltech-UCSD Birds-200-2011 (CUB) 、 Flowers、LSUN Car。

评价指标： Accuracy、IoU、DICE。

对比分割网络： GrabCut、PerturbGAN、ReDO。

测试结果：

分割效果：

五、总结与启发

IEM是一种简单的无监督图像分割方法，无学习的IEM分割器产生的分割可以作为有噪声的训练标签来训练深度分割网络，进一步提高了分割质量。这给出了一个自然的对抗性目标，分割器试图最大化inpainting误差，而图像修复器试图最小化inpainting误差。

对于无监督分割，作者发现了一个基于信息论考虑的标准，该标准足以推动最先进的技术。然而，这个配方的未来实例，应用于分割或其他领域，可以寻求将学习机制带入第一阶段。在任何一种情况下，优化目标的解决方案都会产生目标任务的预测，允许以学习为中心的第二阶段通过训练深度神经网络来复制这些预测来提取和推广这些预测。