SR显著图（A Spectral Residual Approach）

最新推荐文章于 2023-01-31 22:37:52 发布

GHelpU

最新推荐文章于 2023-01-31 22:37:52 发布

阅读量9.2k

点赞数 11

分类专栏：图像处理文章标签： SR显著图区域提取计算机视觉显著图提取

本文链接：https://blog.csdn.net/weixin_42647783/article/details/81415480

版权

图像处理专栏收录该内容

5 篇文章 1 订阅

订阅专栏

1 简介

SR（Spectral Residual，剩余谱）模型独立于对象的特征，类别或其他形式的先验知识。通过分析输入图像的对数谱，可以在空间域中获取输入图像的剩余谱，进而用快速的方法在空间域中构造相关的显著性图。模型在自然图像和艺术图像的测试结果表明该方法具有计算效率高且鲁棒性好的特点[1]。

论文指出，图像的信息是由先验知识的信息和显著部分的信息构成，通过在对数谱中用图像的信息减去先验知识的信息，获得显著部分的对数谱，最终利用傅里叶逆变换得到显著图。

SR显著图对图像中的高频成分的响应较大，低频成分响应很小，因此对一些细微对象或纹理多的对象更敏感，适合用于提取此类对象。

2 剩余谱模型

从信息论的角度，有效编码将图像信息 $H(image)$ 分成两部分

$H(\operatorname{Image})=H(\operatorname{Innovation})+H(\operatorname{PriorKnowledge})$

其中 $H(\operatorname{Innovation})$ 表示图像中“新奇”（显著）的部分，而 $H(\operatorname{PriorKnowledge})$ 表示需要被编码系统压缩的冗余信息，在图像统计中，这样的冗余信息相当于环境的统计不变特征。现在普遍认为自然图像不是随机的，它们遵循高度可预测分布。

接下来，我们要讨论的就是如何通过去除图像的统计冗余部分从而逼近“新奇”的部分，文章认为这一部分是原始对象（感兴趣对象）的出现带来的。

2.1 对数谱表示

在自然图像统计的不变特性中，尺度不变性是著名且被广泛研究的特性，这一特性也叫做 $1/f$ 法则。这一特性表明多个自然图像的傅氏谱的幅度值 $A(f)$ 服从分布

$E\{A(f)\}\propto 1/f$

在log-log比例图（幅度谱取对数与频率取对数的关系图）中，多个图像的幅度谱，在各个方向取均值后，大致位于一条直线上。尽管log-log谱的理论成熟而且被广泛使用，但是对于单个图像它并不适用，原因在于：（1）单个图像不容易得到尺度不变性；（2）采样点的比例不均匀，低频部分在log-log面中稀疏分布，而高频部分受噪声影响连在一起。

综上所述，论文采用图像的对数谱 $L(f)$ 表示方法取代log-log谱，计算方法如下，在图像中log-log谱和对数谱表示的对比如图所示，第一张图是2277张自然图像的均值。

$L(f)=\log (A(f))$

在接下来的小节中，我们将把对数谱表示应用到显著性检测任务中。下图是对数谱表示的例子。

可以看出不同图像的对数谱的趋势是相似的，下图给出了1、10和100张图像的谱均值的曲线，曲线表明谱线具有局部线性的特点（这为之后取局部平均提供理论支持）。

2.2 从剩余谱到显著性图

相似意味着冗余。对于一个想要最小化冗余视觉信息的系统，它必须知道输入信息的统计相似性。因此，在可以观察到相当大的形状相似性的不同对数光谱中，值得我们注意的是那些从平滑曲线中跳出的信息（统计奇点）。

给定一个图像，它的对数谱是从图像降采样至64px后计算得到的。如果包含在对数谱中的信息预先知道，那么待处理的信息就是

$H(R(f))=H(L(f)|A(f))$

其中 $A(f)$ 表示对数谱的一般形状，它是作为先验信息给出的， $R(f)$ 代表输入图像特有的统计奇点， $L(f)$ 代表输入图像缩放后的对数谱。那么 $A(f)$ 作为先验信息是通过对输入图像的对数谱做均值滤波得到的。

$A(f)=h_{n}(f)*L(f)$

这里 $h_{n}(f)$ 是一个 $n\times n$ 的矩阵，定义为

${{h}_{n}}(f)=\frac{1}{{{n}^{2}}}\left( \begin{matrix} 1 & 1 & \cdots & 1 \\ 1 & 1 & \cdots & 1 \\ \vdots & \vdots & \ddots & \vdots \\ 1 & 1 & \cdots & 1 \\ \end{matrix} \right)$

论文中 $n$ 取值为3， $n$ 的改变对于整体显著图计算的影响很小，如下图所示。

那么剩余谱的计算方式如下，下图给出了测试图像及其的对数谱、平均对数谱曲线和剩余谱曲线。

$R(f)=L(f)-A(f)$

在这个模型中，剩余谱包含了图像的“新奇”信息，这一点类似于场景压缩。通过傅里叶逆变换，可以在空间域中构造输出图像，即显著性图。由于显著性图主要包含场景的显著部分，而剩余谱的内容也可以被理解为图像的显著部分，因此通过对显著性图每一点的值取平方可以指示估计误差。为了较好的视觉效果，最后利用了高斯滤波器（ $\sigma=8$ ）对图像做平滑处理。

总之，给定输入图像 $I(x)$ ，有

$A(f)=R(F[I(x)])$ （幅度谱）

$P(f)=S(F[I(x)])$ （相位谱）

$L(f)=\log (A(f))$ （对数谱）

$R(f)=L(f)-{{h}_{n}}(f)*L(f)$ （剩余谱）

$S(x)=g(x)*{{F}^{-1}}{{[\exp \left( R(f)+P(f) \right)]}^{2}}$ （显著图）

这里 $F$ 和 $F^{-1}$ 分别表示傅里叶变换和逆变换， $S(F[I(x)])$ 是对图像的傅里叶变换取相位值，即 $P(f)$ 表示图像的相位谱， $R(F[I(x)])$ 是对图像傅里叶变换结果取幅值，即 $A(f)$ 表示图像的幅度谱，最后的 $S(x)$ 就是得到的SR显著图。

3 从显著图中获取感兴趣对象

显著图（Saliency Map） $S(x)$ 所对应的对象图（Object Map） $O(x)$ 的计算方法为

$O(x)=\left\{ \begin{matrix} 1 & \text{if }S(x)>\text{threshold}, \\ 0 & \text{otherwise}\text{.} \\ \end{matrix} \right.$

经验性地设置 $threshold=E(S(x))\times 3$ ，其中 E(S(x)) 表示显著图的均值。

3.1 视觉尺度的选择

尺度的选择在本算法中等同于对输入图像尺寸的选择，不同的尺寸会得到不同的显著图。

当图像尺寸较小即大尺度时，图像的细节特征会被忽略，而在小尺寸即精细尺度下，小细节特征则会更加显著。下图给出了同一图像不同尺度得到的显著图。

4 示例

下图是论文中给出的部分测试图像以及相应的显著图和对象图。

下图是SR显著图与ITTI显著图对特定情况的效果对比图。

5 参考文献

[1] X Hou, L Zhang. Saliency Detection: A Spectral Residual Approach[J]. IEEE Conference on Computer Vision & Pattern Recognition, 2007: 1-8.

原创性声明：本文属于作者原创性文章，小弟码字辛苦，转载还请注明出处。谢谢~

代码下载请到https://download.csdn.net/download/weixin_42647783/10666673。

如果有哪些地方表述的不够得体和清晰，有存在的任何问题，欢迎评论和指正，谢谢各路大佬。

有需要图像处理相关技术支持的可咨询QQ：297461921

GHelpU

关注

11
点赞
踩
36

收藏

觉得还不错? 一键收藏
5
评论
SR显著图（A Spectral Residual Approach）

1 简介SR（Spectral Residual，剩余谱）模型独立于对象的特征，类别或其他形式的先验知识。通过分析输入图像的对数谱，可以在空间域中获取输入图像的剩余谱，进而用快速的方法在空间域中构造相关的显著性图。模型在自然图像和艺术图像的测试结果表明该方法具有计算效率高且鲁棒性好的特点[1]。论文指出，图像的信息是由先验知识的信息和显著部分的信息构成，通过在对数谱中用图像的信息减去先验知...
复制链接

扫一扫

专栏目录