在ECBSR论文的代码研究中,我发现关于ECBSR提出的多分支重参数化模型中,代码用到了sobel算子与laplace算子,很难判断这两个算子是为了论文的创新点还是真的有用,这块只能等待后续的对比实验。
1、拉普拉斯算子
首先是散度与梯度的概念:散度和旋度的物理意义是什么?
贴一下原文回答作者的总结:通过物理来理解这四个概念还是比较容易的。
- 通量是单位时间内通过的某个曲面的量;
- 散度是通量强度(求解任一点的散度);
- 环流量是单位时间内环绕的某个曲线的量;
- 旋度是环流量强度(求解任一点的旋度)
在此基础上分析拉普拉斯算子:
![](https://i-blog.csdnimg.cn/blog_migrate/589517f0b57fcada94e334e9a8961900.png)
拉普拉斯算子被称作为梯度的散度,配合上一个知乎回答,这一句话的含义无疑是得到了非常充分的解释与回答,本身一次求导数的结果就是得到了梯度,对梯度进行二次求导并相加,则得到了梯度的散度。
2、图像中的拉普拉斯算子
首先需要明确的是拉普拉斯算子与sobel算子都是属于图像锐化范畴的算子。
图像锐化处理的目的是使模糊的图像变得更加清晰起来,通常针对引起图像模糊的原因而进行相应地锐化操作,属于图像复原相关的技术领域。图像的模糊实质就是图像受到平均或积分运算造成的,因此可以对图像进行还原运算如微分运算来使图像清晰化。从频谱角度来分析,图像模糊的实质是其高频分量被衰减,因而可以通过高通滤波操作来清晰图像。但要注意,能够进行锐化处理的图像必须有较高的信噪比,否则锐化后图像信噪比反而更低,从而使噪声的增加得比信号还要多,因此一般是降噪再进行锐化处理。
拉普拉斯算子是图像邻域内像素灰度差分计算的基础,通过二阶微分推导出的一种图像邻域增强算法。它的基本思想是当邻域的中心像素灰度低于它所在邻域内的其他像素的平均灰度时,此中心像素的灰度应该进一步降低;当高于时进一步提高中心像素的灰度,从而实现图像锐化处理。
在算法实现过程中,通过对邻域中心像素的四方向或八方向求梯度,并将梯度和相加来判断中心像素灰度与邻域内其他像素灰度的关系,并用梯度运算的结果对像素灰度进行调整。
一个连续的二元函数f(x,y),其拉普拉斯运算定义为:
![](https://i-blog.csdnimg.cn/blog_migrate/bab1eeb33cd545ac91c1aaef387c4aac.png)
3、图像中的Sobel算子
Sobel算子是像素图像边缘检测中最重要的算子之一,在机器学习、数字媒体、计算机视觉等信息科技领域起着举足轻重的作用。在技术上,它是一个离散的一阶差分算子,用来计算图像亮度函数的一阶梯度之近似值。在图像的任何一点使用此算子,将会产生该点对应的梯度矢量或是其法矢量。在边缘检测中,常用的一种模板是Sobel 算子。Sobel 算子有两个,一个是检测水平边缘的 ;另一个是检测垂直边缘的 。
![](https://i-blog.csdnimg.cn/blog_migrate/e85a2298109f94265e5f816ab08f3fa5.png)
4、图像算子与重参数化的结合
以上拉普拉斯算子或者是sobel算子本质上都属于3*3大小的卷积核,因此完全是可以按照重参数化的融合算法进行合理融合的。
在RepVSR的实践中,我们也确实对laplacian算子和1*1卷积层进行了合理融合。