相似图像块的搜索（匹配）问题分析1——计算机视觉问题中常用到的一种策略

在计算机视觉的很多问题中，在对图像/视频进行处理时，很多方法都是基于图像块进行处理的（而且为了增加处理过程的鲁棒性，有些方法使图像块有部分重叠），比如图像去噪、去除图像文本覆盖、图像超分辨等任务。

噪声图像

文本覆盖图像

低分辨率图像

基于图像块进行处理时，在很多情况下都要进行相似图像块的搜索（匹配），之所以要搜索相似块，是因为要利用相似块之间的稀疏与低秩的性质，图像的稀疏性通常使用字典来进行处理，图像的低秩性通常使用核范数与奇异值分解（svd）来进行处理，搜索的方法也有很多，根据问题的不同选择不同的搜索方法，比如基于欧式距离的搜索等。

搜索相似块

通常来说，搜索到的多个图像块与基准图像块越相似，任务的处理结果就越好，所以相似图像块的搜索就成为重要的部分。一般情况下，使用全局搜索得到的结果相对最好，对于单幅图像也就是在整幅图像中进行搜索，但是，通常情况下，全局搜索的代价太大（不管是时间还是空间），所以在很多文章中多使用局部搜索和非局部搜索，个人根据文章与代码理解，局部搜索也就是搜索半径相对较小，非局部搜索也就是搜索半径相对较大，这样做虽然相比于全局搜索不是最优的，但是根据局部性原理（也就是与基准块相似的块出现在基准块周围的概率更大），对于所研究的问题已经足够，而且，有可能增加很大的搜索半径，带来的优化效果是很小的，但带来的代价增加是很大的。所以，对于具体任务，相似图像块的搜索半径的大小就是一个值得讨论的问题，要在代价和优化效果之间进行权衡！！！注意这里所说的代价是指对所有的待处理图像块而言的，也就是整幅图像，并不是指处理单个图像块的代价。有时要对图像块增加更多的处理，这样整个处理过程的代价就更大了。

基于以上说明，本文对不同搜索半径WIN对应花费时间Time进行统计分析。具体来说，实验所使用图像的宽为1280，高为768，图像块的大小为5×5，因为搜索半径为WIN，所以搜索框为WIN×WIN，这里用搜索框内图像块个数WINNUM来表示搜索半经的变化，取值为1~(1280-5+1)×(768-5+1) = 1~974864。这里不考虑每个图像块搜索的相似块的数目SNUM，因为经过试验SNUM在1~1000范围内花费时间是差不多的，说明SNUM不是特别大时，就不用考虑其对时间的变化影响，而且一般的任务中相似块的数目也不会超过1000。下图为SNUM与花费时间Time(s)的关系：

时间随相似块数目增加的变化（SUM-Time分布）

下图为WINNUM与花费时间Time(s)的关系：

时间随搜索框内图像块个数增加的变化（WINNUM-Time分布）

对WINNUM-Time分布，每一个基准图像块在搜索框内的WINNUM个图像块中进行搜索，考虑基准图像块无覆盖的情况，共有ceil(1280/5)×ceil(768/5) = 39424个图像块，所以需要对整幅图像进行操作时需要进行39424次搜索，所用的总时间为SUMTime，下图为WINNUM与花费总时间SUMTime(s)的关系：

搜索框大小(内的图像块数目)与花费总时间的关系（WINNUM-SUMTime分布）

 

由WINNUM-SUMTime分布可知对于不同半径的搜索框，对整幅图像进行处理所花费的时间，由图可知，如果采用全局搜索策略，所花费的时间大约为5600s，这一时间花费对于某些任务是不可接受的，所以要综合考虑任务所需与可接受时间，选择合适的搜索框尺寸！！！（以上结果见Time_analysis1）

本文选择了图像尺寸宽为1280，高为768的情况，在实际任务中，可以根据具体的图像尺寸、图像块尺寸、图像块的覆盖情况，以及具体任务附加到图像块中的操作，再结合本文的实验结果，就可以粗略预估处理耗费。这对任务的耗费预估有重要意义！！！

一般情况下，由于任务，或者说使用的算法而言（例如后处理的图像块必须依赖于先处理的图形块的结果），只能对整幅图像的图像块进行逐一处理。但是，在某些情况下，可以首先对所有图像块同时（并行）搜索相似块，再对图像块进行处理，这在感觉上耗费时间会减少，对39424个图像块进行同时搜索，花费时间为228.384s（见Time_analysis2），这就指导使用算法时，尽量先做全局整体搜索，再对图像块进行处理。使用全局整体（并行）搜索在一定程度上解决了时间耗费问题，但是当图像块的大小随问题不同时，对消耗时间和空间（内存）也是有很大影响的，下一博客将讨论分析这一问题：相似图像块的搜索（匹配）问题分析2——计算机视觉问题中常用到的一种策略

 

说明：1）本实验在matlab下实现，使用K近邻算法进行相似图像块的搜索，参考matlab-K近邻算法

2）文中提到的图像去噪参考文章：Gu, Shuhang, et al. "Weighted nuclear norm minimization with application to image denoising." Proceedings of the IEEE conference on computer vision and pattern recognition. 2014.

3）文中提到的去除图像文本覆盖、图像超分辨参考文章：Zhang, Mingli, and Christian Desrosiers. "High-quality image restoration using low-rank patch regularization and global structure sparsity." IEEE Transactions on Image Processing 28.2 (2019): 868-879.

4）实验所使用的CPU为Intel(R) Core(TM) i7-7700 CPU @ 3.60GHz

5）实验所使用的matlab版本为R2015b

6）实验代码和结果见：Time_analysis1 提取码：9hdz，Time_analysis2 提取码：22nm