Bijective Mapping Network for Shadow Removal论文阅读笔记

老霉儿

已于 2022-11-25 16:59:14 修改

阅读量292

点赞数 1

分类专栏：论文记录文章标签：论文阅读

于 2022-11-25 11:06:30 首次发布

本文链接：https://blog.csdn.net/weixin_43367551/article/details/128034395

版权

论文记录专栏收录该内容

4 篇文章 0 订阅

订阅专栏

作者工作：

网络结构：

Shadow-Invariant Color Guidance Module阴影不变的颜色指导模块

Loss

Limitation

作者工作：

大多数现有的基于深度学习的方法只考虑匹配的配对图像的内容来单独去除阴影，几乎没有考虑到阴影生成在阴影去除过程中的辅助监督。在这项工作中，作者认为阴影去除和生成是相互关联的，可以为彼此提供有用的信息监督。

一、提出了一个新的阴影去除框架，它将阴影去除（正向映射）和生成（反向映射）的程序耦合在同一个参数共享的生物映射网络（BMNet）中。两个程序在一致的双向约束下同步优化，可以相互受益，提高整体的去阴影性能。

Motivation：如果正向映射Isf = F(Is, C; θ)是最优的，我们可以通过相应的反向映射F-1(Isf , C; θ)获得输入Is。消除阴影（正向）和生成（反向）程序是一枚硬币的两面。引入反向映射过程可以为Is提供一个有规律的约束，以提高正向映射的性能[17]。

二、在BMNet中提出了一个阴影不变量颜色指导模块，该模块明确纳入了阴影不变量颜色信息来指导阴影区域的理想颜色修复，因此进一步解决了颜色偏差问题。

Motivation：直观地说，阴影往往给图像带来明显的色彩退化，这表明RGB光谱的原始比例发生了变化。阴影很可能对不同的RGB光谱有不同的影响，从而导致不同颜色下的阴影表现。

总之，不同的色谱会受到阴影的影响，但在不同的色谱下，阴影影响的程度是不同的。这个结论促使我们额外采用颜色线索来指导网络重建无阴影的图像，并减少颜色偏向效应。

网络结构：

可逆网络本身并不能用于阴影去除，因此本文使用了mask和颜色不变图两个先验作为条件输入。关于“可逆网络本身并不能用于阴影去除”，我大概解释一下：可逆，就是双向映射，那么阴影图像和无阴影图像可以双向映射吗？阴影图像->无阴影图像，一般的cnn是没问题的；无阴影图像->阴影图像，这个好像不行吧，没有mask，你怎么知道哪块区域是阴影区域；因此双向映射，必须有mask作为先验输入。

在前向映射过程中，BMNet接收阴影图像Is作为输入，根据条件输入学习从Is到ˆIsf的前向映射。我们首先通过核大小为1×1的普通卷积层获得浅层特征表示x0I，然后将x0I和辅助条件信息C（包括阴影遮罩和颜色图）送入n个级联的可逆块（IBs）进行进一步的特征仿射转换。之后，我们应用另一个1×1卷积层来生成ˆIsf。过程如下公式：其中C表示阴影掩码和我们论文中学习的阴影不变的颜色图。