数字图像处理篇（9）角点检测及其opencv实现

计算机鬼才～

已于 2022-12-13 15:37:48 修改

阅读量848

点赞数 6

分类专栏：玩转图像处理文章标签：人工智能计算机视觉

于 2022-11-28 18:22:45 首次发布

本文链接：https://blog.csdn.net/m0_69299019/article/details/128072319

版权

玩转图像处理专栏收录该内容

11 篇文章 12 订阅

订阅专栏

一、引言

读者们跟着小编学了这么久的数字图像处理，是时候带领大家看看我们学校的建筑啦！(这是小编所在大学的计算机学院，没准小编还能遇到校友呢）

相信不少的读者都注意到了左上角的A、B、C，并且喃喃的吐槽道，小编，你又在怀什么坏心思啊，肯定不是让我们欣赏建筑这么简单吧！

安啦安啦，小编这么单纯又可爱，怎么会有坏心思呢（坏笑）。但大家既然注意到了左上角的ABC,那么就请大家找找看，这三个小图对应的是大图的哪一部分。

相信很多读者都是这么思考的。对于图A，它对应的是平坦部分，有很多个部分都有，它没有自己的一个特点，完全不能精准的找到，对于图B，它对应的是一个“边缘”部分，我们大致能找出是在哪一个边缘所截取的，而对于图C，由于有一个阴影与阳光所形成的“小角”，我们能够很快的定位出它在哪一部分。

我们把类似于图C这样有很明显的“角”的点称之为“角点”--------这也是我们今天的主角。

二、Harris角点检测

1、数学依据

①SSD平方差之和

对于上图来说，假设我们只考虑一个小窗口的像素值变化。对于左图来说，也就是平坦区域部分，我们移动窗口时，不论往上面方向去移动，窗口的像素值均不会发生变化；对于中图来说，也就是边缘区域，我们移动窗口时，如果是沿着边缘方向移动，窗口的像素值不会发生变化，但如果是其他方向移动，像素值变化还是挺大的；而对于右图来说，也就是角区域，不论是从哪个方向去移动，均会发生天翻地覆的像素值变化。

那么，我们如何用数学公式去描述这种差异呢？

我们假设此窗口为W，且它是一个矩形窗口（也就是说该窗口下的每一个像素值权重相同）。假设以 $\overrightarrow{z}=(u,v)$ 的方向去移动这个窗口，我们会使用平方差之和（Sun of Squared Differences 简称SSD）来描述移动前与移动后的像素差异。SSD差异E（u，v）的数学定义为：

从理论上分析来说，这个值越大越有特征，但是缺点是精确计算较为复杂，毕竟每个窗口有很多个像素，算完了还得求和。并且向量（u,v）并不是唯一的，可以给定很多组向量值。

②泰勒展开式

马克思主义哲学告诉我们，共性是寓于个性之中的，我们并不满意于如此大的计算量，所以我们就是要从这么多组向量值挨个计算后的值中找到这些值的“共性”。

大家应该都学习过泰勒展开式吧，对于一元函数的泰勒展开式，我们有皮亚诺余项以及拉格朗日余项。其公式如下图：

Rn（x）的不同代表着泰勒展开余项类型的不同。而众所周知，图像是一个“二元”的，有x方向上的变化以及y方向上的变化，所以，小编想讲述的是二元函数泰勒展开式，它的表达式为：

也就是说，我们可以对E（u,v）的数学公式进行泰勒展开再化简。我们将用如下的式子去代替I（x+u,y+v）:

而在原公式里就有I（x+u,y+v）的差值，刚好能够消掉，如下图（Ix、Iy分别代表I对x的偏导以及I对y的偏导）：

仔细观察，这个表达式其实代表了一个椭圆，要是一时半会没看出来也没关系，下面是它的展开表达式：

而ABC也构成了一个系数矩阵，经过一些数学推导，可以发现这个矩阵的两个特征值分别为椭圆长半轴平方的倒数以及短半轴平方的倒数，特征向量的方向为两个轴的方向。

2、结论

自此，我们可以通过衡量特征值的大小来判断该点是不是角点。对于一个窗口，对它的系数矩阵而言，我们有如下结论：

①两个特征值均很大，则该部分为角点

②一个特征值远大于另一个特征值，则该部分为边缘

③两个特征值均很小，则该部分为平坦区域

还有另一种方法，就是将较小的特征值与一个阈值进行判断。如下图，两个特征值分别代表不同的意义。

而 $\lambda$ min又与Harris算子的值相近，Harris算子的计算方式如下图：

但是“均很大 ”是指多大，“均很小 ”又是指多小呢？“阈值”又应该取多少呢？我们很难通过感性去判断，所以，我们可以采用CRF角点响应函数来判断图像的信息。

k一般取值为0.04~0.06，对此函数，有如下结论

①R值大于0，则该部分为角点

②R值小于0，则该部分为边缘

③R值接近0，则该部分为平坦区域

3、代码实现

dst=cornerHarris（src,blocksize,ksize,k）

参数含义：

dst：输出图像

src：输入图像

blocksize：窗口W的大小（例如2代表窗口大小2*2）

ksize：卷积核

k：权重系数，一般为0.04~0.06

实战一下，选择一张图片并用红点标记出角点位置：

import cv2
import numpy as np

img=cv2.imread("dog.jpg",-1)
#gray为img的灰度图片
gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

#计算每个像素的R值
dst = cv2.cornerHarris(gray, 2, 3, 0.04)
#如果大于最大值的1%我们就将此点显示出来
img[dst > 0.01*dst.max()] = [0, 0, 255]
cv2.imshow("corner",img)
cv2.imwrite("dog_corner.jpg",img)

cv2.waitKey()
cv2.destroyAllWindows()

结果如下图，左边为原图，右边为加上角点（红点）后的图。

三、Harris角点检测器的性质

在探究窗口不变的前提下，图像的几何变换与光学变换下对角点检测的影响之前，我们先来介绍角点的不变性与等变性的概念。角点的不变性是指，图像变换但图像的角点位置不变，而角点的等变性是指如果我们有一张图片和这张图片的变换版本，角点特征仍然能在相对位置上找到。显然我们希望几何变换后，角点具有等变性而光学变换后角点具有不变性。