STAR: A Structure and Texture Aware Retinex Model 2020TIP

STAR: A Structure and Texture Aware Retinex Model
2020年发表在TIP
utilize exponentiated local
derivatives：利用指数局部导数
this problem is highly ill-posed：这个问题很不合理

pdf：paper
code：code

摘要

根据retinex理论，一张图片可以分为反射图和光照图，在该理论中，较大的导数归因于反射率的变化，较小的导数出现在照度图。于是作者利用图像的指数局部导数（γ）生成结构图（γ>1)和纹理图(γ<1)
为局部导数设计了指数滤波器-提取结构和纹理图信息，用于正则化Retinex分解中的照明和反射图

介绍

问题动机：Retinex理论根据较大的导数归因于反射率的变化，较小的导数出现在照度图这个理论，执行图像Retinex分解，但是这种分解并不可靠，因为反射map和照明map将在中间区域重合。
有的方法明确利用导数性质分解，会忽略场景结构的全局一致性。
有的方法在考虑不同正则化的情况下进行全局分解，忽略导数性质，不能很好的分离照明和反射分量。
可以理解为在场景结构的全局一致性和根据导数性质很好的分离照明和反射分量需要做出平衡的解决。

解决：利用指数局部导数以全局的方式更好的利用导数的性质。
利用图像的指数局部导数（γ）生成结构图（γ>1)和纹理图(γ<1)
为局部导数设计了指数滤波器-提取结构和纹理图信息，用于正则化Retinex分解中的照明和反射图。图一所示，d上半部分为指数滤波器生成的结构图（γ>1),d下半部分为指数滤波器生成的纹理图（γ<1)，提取的结构图和纹理图用于正则化光照图和反射图。
这个idea可以用来更准确的估计Retinex分解的illumination map和 reflectance map。
之后使用交替优化算法求解STAR模型。每个子问题都被转换为具有闭合形式解的矢量化最小二乘回归（不算创新吧。

III 结构和纹理感知

简化的Retinex模型

并没有简化 公式仍是以前的，但是换了一种写法
$I=O\oslash R,R=O\oslash I,$
其中中间$\oslash$ 代表基于像素的分割。

结构纹理提取器

存在的问题是：retinex分解反射图和光照图中，容易定性地认为，illumination map应该是分段平滑的（捕捉结构），reflection mao应该是观察物理特征（捕捉纹理信息）
先前结构纹理分解方法强制使用TV正则化来保留边缘。
作者研究了两种典型的滤波器：
TV滤波器：计算图像的绝对梯度作为引导图
${\mathbf{f}}_{TV}(\mathbf{O})=|\nabla \mathbf{O}|.$
平均局部方差（MLV）：估计结构图

图二可视化两个滤波器对于提取结构信息和纹理信息的效果。首先输入a从RGB空间转化为HSV空间（HSV空间中V Value通道反映照明和反射信息）
之后作者又做了一组可视化图3，通过对比TV滤波器（b）和MLV滤波器提取出来的结构信息（d）和使用最新的边缘检测方法提出的边缘结构（c)，表明TV和MLV滤波器已经可以反映输入图像的结构

提出的结构和纹理感知

上个part讲述TV和MLV滤波器可以用于提取结构信息，但是不能直接用于我们的问题，因为他们容易捕捉结构信息，（所以纹理信息捕捉不明白？）
没有提及为什么使用指数增长或衰减
只说使用指数，局部导数会更清楚反应内容结构和详细的纹理，因此引入γ用于灵活结构和纹理估计的指数。
将γ 添加到TV和MLV滤波器操作中，

其中Ω是每个元素O的局部patch块，大小3*3，|Ω|表示Ω的元素数。
根据指数γ的大小发现滤波器提取纹理和结构的规律：将每个RGB输入转换为HSV空间上，在V（value）通道进行分解。如图二所示，γ等于0.5 滤波器大致解释图像的纹理信息，γ∈{1，1.5，2}滤波器倾向于提取结构边缘。
方案：提出基于ETV和EMLV的加权矩阵
由于考虑局部方差，EMLV比ETV更好的解释细节和保留结构

结构纹理感知Retinex模型

实验

无监督方法，在无监督数据集上做了实验，对比的方法都是先前的。
还做了实验对比分解的reflectance反射和illumination光照分解。