阅读 DCT-mask:离散余弦变换mask的实例分割表示
知乎讲解链接:论文分析
Abstracts
一个有代表性的实例化是mask R-CNN,predicts masks on a 28 × 28 binary grid。面对低分辨率不足和高分辨率过于复杂的问题,该文章提出了一个新的mask representation,是用DCT(discrete cosine transform)离散余弦变换将高分辨率的二进制网络掩码endoce成紧凑的向量,应用到大多数基于像素的实例分割方法中,且不需要预处理和预训练,对运行速度也没有影响。其主要优势在于it obtains a high-quality mask representation with low complexity
Introduction
主流的low-resolution grid可能已经不是很好的选择了。
Mask R-CNN是实例分割中一个代表性的实例化,是将二进制基真值下采样到28*28的网格然后通过上采样重建。运用reconstructed mask和ground truth之间的IoU度量来评价mask representation的质量。比起PCA,sparse coding,autoencoders,无需预处理和与训练,效率较高。
IOU的全称为交并比(Intersection over Union),是目标检测中使用的一个概念,IoU计算的是“预测的边框”和“真实的边框”的交叠率-,即它们的交集和并集的比值。最理想情况是完全重叠,即比值为1。
用到的数据集有:
COCO dataset
LVIS* dataset
Cityscapes
对比 ResNet-50网络结构
Method
实例分割中能使用DCT的原因:实例分割中的掩码是一幅二值图像,大部分信息都集中在少数几个低频分量上。通过将高分辨率的二进制掩码变换到变换到频域中,并保留其低频分量即可得到高质量且低复杂度的掩码表示,称其为DCT掩码表示。
添加