【论文阅读】ViewAL:Active Learning With Viewpoint Entropy for Semantic Segmentation

Siddiqui Y, Valentin J, Nießner M. Viewal: Active learning with viewpoint entropy for semantic segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 9433-9443.

摘要

本文提出了ViewAl,一种新型的针对语义分割的主动学习策略，它探索了在不同视角图像的数据库(multi-view)的视角(viewpoint)的一致性。本文的核心观点是在不同视角下的图像通过模型预测的不一致性提供了一个可靠的不确定性的度量方法，这也激励模型能在物体在不同视角的观察下都表现的很好。另外，本文也也提出了一个超像素水平的不确定性计算方法。视角熵和超像素的结合使得模型能够高效的选择那些能改善网络的具有高信息量的样本。

介绍

提出了一个novel view-consistency-based uncertainty方法。具体的，提出了一个基于variance of predicted score function across multiple observations的视角熵公式。如果一个给定的图像中的目标（未标记）在不同的视角观测下的预测值不同，则预测失败；然后对于最不确定的那个样本来获取label。

另外，提出了一个基于超像素水平的不确定性计算方法，这可在分割任务中利用固有的局部信息，以此减少代价。后文中提到在最不确定的那张图像中也只是标注其中一个超像素块，而不是全部。

先通过视角熵来挑出预测失败的一组图像，然后再通过KL散度从这组图像中来选择对网络最有利的一张图像，再进行超像素模块的标注。

本文贡献如下：

A novel active learning strategy for semantic segmentation that estimates model uncertainty-based on in consistency of predictions across views, which we refer to as viewpoint entropy.

A most informative view criteria based on KL divergence of prediction probability distributions across view points.

A superpixel-based scoring and label acquisition method that reduces the labeling effort while preserving annotation quality.

方法

分成四步：在已标注数据集上训练网络模型；在未标注数据部分评估模型不确定性；选择需要标注的超像素块；进行标注。

网络训练

刚开始在已标注数据集上训练一个语义分割网络直至收敛。

理论上，任何网络都可以用。这里选择了DeepLabv3+ with MobileNetv2作为主干网络。使用了一系列数据增强来防止过拟合。

不确定性得分

训练好模型后，下一步就是在未标记数据集中找到最有利于网络性能提升，即信息量最高的样本。这里介绍一个新型的基于view entropy and view divergence scores的样本选择策略。

先是通过View entropy score这个视角熵得分旨在评估哪个目标可以保持预测的一致性，不管是从什么样的观测角度。在已经知道是哪一个目标使得预测不一致后再通过View Divergence Score 来选择哪个视角是对于网络最有用的。