DeepStrip: High Resolution Boundary Refinement论文阅读

目标

本文的目标是从给与的低分辨率的mask与高分辨率的图像中细化出高分辨率图像的边界。

背景

现如今存在的一些边界细化的方法多在低分辨率条件下进行的，由于内存，计算速度，计算资源等限制，并不能在高分辨率图像中进行处理。
现如今高分辨率的方法大多数是将低分辨率图像直接上采样达到高分辨率，但是由于未考虑到HR图像中的语义信息，往往结果较差。
在此背景下，提出了一中新颖的方法来对HR图像进行边界细化。

创新

1.带状图像

考虑到计算资源问题，不能将整张HR图像直接丢进网络，因此将LR的mask进行上采样，在靠近上采样掩模的边界的条带区域中搜索目标边界。带状图像是通过沿垂直于上采样的掩模边界的像素采样而形成的。由于法线可能由于上采样蒙版中边界不正确而变得不平滑，因此我们用样条逼近表示LR边界，并将上采样样条的正交导数直接视为法线方向。输入生成的带状图像作为输入，我们训练网络以首先预测所有潜在边界。

2.附加选择层

基于初始预测，添加一个附加选择层以更准确地预测目标边界。

3.提出新的损失函数

• 边界距离损失
• 匹配损失
• C0连续性正则化（提出）
• Le
• dice_loss

带状图像创建

由于上采样引入了插值，因此来自LR图像的直接上采样边界可能会从HR中的边界GT偏移。为了定位实际的HR边界像素，比搜索整个图像更需要在上采样边界附近进行搜索。因此，我们提取靠近上采样边界的像素以创建带状图像。要创建带状图像，我们沿边界步进，并在曲线上的每个点沿法线方向采样点。为了获得沿粗糙边界的平滑变化的法线方向，我们用B样条曲线表示LR边界，并将LR样条上采样到HR。

网络

带状图像创建，输入网络->通过附加选择层->带状图像重构。

其他贡献

提出了一个新的数据集：PixaHR数据集
它包含从公共摄影网站Patrick [1]收集的平均分辨率为7k*7k（范围从5k 5k到10k10k）的100张图像。我们手动注释HR图像中的对象边界，将HR蒙版下采样8，16和32，并获得二进制LR蒙版进行评估。