计算机视觉项目实战-图像特征检测harris、sift、特征匹配_图像 特征 背景检测

第一个图就是使用常数的一个窗口，没有什么变化，对于3*3的九个点都平等对待。但是对于高斯加权函数来说，他是一个越靠近中心点的权重就越大的一个函数。就类似于这样。

而我们一般都使用高斯加权函数。当▲x,▲y变化的都相对较小的时候，我们将图像平移由（x,y）移动（▲x,▲y）后进行一个一阶近似，泰勒展开公式：

这里我们使用泰勒公式展开之后呢？就把（▲x,▲y）的变化认为很小很小，就给直接省略了。其中Ix和Iy就是对于x，y的偏导数。

这里我们主要看这里，因为前面是一个不变的数值，所以我们将这里做一个平方，防止像素值相减后负值对结果的影响。

这里M（x,y）就是，当我们求出来这个M矩阵，那么对于他是怎么变化的是不是就清楚了：

化简一下代回原式子就是：

这里我们根据自己学习过的线性代数知识，对其进行对角化，可以得到lamda1=1/a2，lamda2=1/b2：肯定会得到两个特征值，特征向量。

这里我们就可以把角点表示成这样，就是lamda的两个值变化的都快，那么他就是角点。一个变化较快一个比较慢，那么就是边界，如果都比较缓慢，那么就是一个平面。
边界：一个特征值大，一个特征值小，自相关函数在某一个方向上大，在其他方向上小。
平面：两个特征都小，且近似相等。
角点：两个特征都大，且近似相等，自相关函数在所有方向都大。

在OpenCV当中我们使用，cv2.cornerHarris()来进行角点检测。
其中参数都有：

• img： 数据类型为 float32 的入图像
• blockSize： 角点检测中指定区域的大小
• ksize： Sobel求导中使用的窗口大小
• k： 取值参数为 [0,04,0.06]
  我们使用几个小图像去做一下角点检测：
  

import cv2 
import numpy as np

img = cv2.imread('white-black.webp')
print ('img.shape:',img.shape)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# gray = np.float32(gray)
dst = cv2.cornerHarris(gray, 2, 3, 0.04)
print ('dst.shape:',dst.shape)
img[dst>0.01\*dst.max()]=[0,0,255]
cv2.imshow('dst',img) 
cv2.waitKey(0) 
cv2.destroyAllWindows()

这里有一些点检测的不是特别好，然后我们用黑白棋盘来看一下。

这个效果堪称完美！！！

⭐️图像特征检测SIFT原理

SIFT是指尺度空间：是指在一定的范围内，无论物体是大是小，人眼都可以进行一个识别，然后计算机要去识别却很难，所以要让计算机能够对物体进行一个在不同尺度下都存在一个统一的认知，就要考虑图像在不同的尺度在都存在的特点，尺度空间的获取一般使用高斯模糊来实现-高斯滤波。
我们再说说SIFT有什么优点：
1、具有较好的稳定性和不变性，能够适应旋转、尺度缩放、亮度的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰。
2、区分性好，能够在海量特征数据库中进行快速准确的区分信息进行匹配
3、多量性，就算只有单个物体，也能产生大量特征向量
4、高速性，能够快速的进行特征向量匹配
5、可扩展性，能够与其它形式的特征向量进行联合

我们都知道如果图片经过高斯滤波操作之后呢，他会变模糊，那么为什么要这么做呢？因为当我们从很近的看一个人的时候，他是清晰的，那么从很远看的时候他就是模糊的。所以我们为了模拟这个过程，就用高斯滤波来进行相同了一个模拟。
不同σ的高斯函数决定了对图像的平滑程度，越大的σ值对应的图像越模糊。
因此我们要介绍一个金字塔，高斯差分金字塔。
我们需要做一个多分辨率的金字塔，对于金字塔的每一层都要做高斯滤波。

根据意思就是5个输入的高斯图像，相邻的进行像素值相减，得到4张差分后的结果。那么我们想要找什么呢？找SIFT，就是特征点，那么什么样的点被认为是特征点呢？通常关键点数值较大、差分结果较大的、极值里面较大的。是不是有点像之前讲的图像金字塔。

为了寻找尺度空间的极值点，每个像素点要和其图像域（同一尺度空间）和尺度域（相邻的尺度空间）的所有相邻点进行比较，当其大于（或者小于）所有相邻点时，该点就是极值点。如下图所示，中间的检测点要和其所在图像的3×3邻域8个像素点，以及其相邻的上下两层的3×3领域18个像素点，共26个像素点进行比较。因为这个极值点需要上下都有图片板子，所以最上面的和最下面的无法生成DOG。
这些候选关键点是DOG空间的局部极值点，而且这些极值点均为离散的点，精确定位极值点的一种方法是，对尺度空间DoG函数进行曲线拟合，计算其极值点，从而实现关键点的精确定位。

然后我们对其进行曲线拟合。对于二维空间来说拟合公式就是这样

那么如果上升到三维空间来说，就是这样的公式;

这里我们就可以求到真正的极值点。
对于一些特征点，我们还要进行一个过滤，比如说我们要消除边界响应。
Hessian矩阵：
我们在讲harris的时候，已经介绍过了得到的检测角点，边界的矩阵就差不多是这个。

然后我们对其进行了对角化，a=lmax表示最大的特征值，b=lmin为最小的特征值。
如果有a/b>10，我们就认定为这个点很接近边界了。此时我们要将对于主曲率比值大于10的特征点进行删除。
进行了如上的操作之后，我们就得到了最后想要的关键点。我们还要找一个特征点的方向，因为我们当验证两个图象是否相似的时候，不仅仅要从数值上下手，还要从方向上才会更加准确。

每个特征点可以得到三个信息(x,y,σ,θ)，即位置、尺度和方向。具有多个方向的关键点可以被复制成多份，然后将方向值分别赋给复制后的特征点，一个特征点就产生了多个坐标、尺度相等，但是方向不同的特征点。
在完成关键点的梯度计算后，使用直方图统计邻域内像素的梯度和方向。

为了保证特征矢量的旋转不变性，要以特征点为中心，在附近邻域内将坐标轴旋转θ角度，即将坐标轴旋转为特征点的主方向。

旋转之后的主方向为中心取8x8的窗口，求每个像素的梯度幅值和方向，箭头方向代表梯度方向，长度代表梯度幅值，然后利用高斯窗口对其进行加权运算，最后在每个4x4的小块上绘制8个方向的梯度直方图，计算每个梯度方向的累加值，即可形成一个种子点，即每个特征的由4个种子点组成，每个种子点有8个方向的向量信息。

论文中建议对每个关键点使用4x4共16个种子点来描述，这样一个关键点就会产生128维的SIFT特征向量。

import cv2
import numpy as np
img = cv2.imread('test\_1.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.__version__
sift = cv2.SIFT_create()
kp = sift.detect(gray, None)
img = cv2.drawKeypoints(gray, kp, img)
cv2.imshow('drawKeypoints', img)
cv2.waitKey(0)
cv2.destroyAllWindows()
kp, des = sift.compute(gray, kp)
print (np.array(kp).shape)
des.shape
des[0]

导入图像，然后进行颜色空间转换。并看一下cv2的版本。然后求了一下sift，最后展示了一下特征第一个。

⭐️图像特征匹配实战

import cv2 
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
img1 = cv2.imread('box.png', 0)
img2 = cv2.imread('box\_in\_scene.png', 0)
def cv\_show(name,img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
cv_show('img1',img1)
cv_show('img2',img2)
sift = cv2.SIFT_create()
kp1, des1 = sift.detectAndCompute(img1, None)
kp2, des2 = sift.detectAndCompute(img2, None)
bf = cv2.BFMatcher(crossCheck=True)

首先我们导入一个具体图像和一个整体图像，用于做特征匹配。原理就是使用sift分别识别处关键点，然后对关键点进行一个匹配。我们具体看一下实战结果。kp1, des1 = sift.detectAndCompute(img1, None)这里我们得到关键点和向量信息，得到特征向量。然后使用特征向量进行匹配。bf = cv2.BFMatcher(crossCheck=True)crossCheck表示两个特征点要互相匹，例如A中的第i个特征点与B中的第j个特征点最近的，并且B中的第j个特征点到A中的第i个特征点也是
NORM_L2: 归一化数组的(欧几里德距离)，如果其他特征计算方法需要考虑不同的匹配计算方式。

matches = bf.match(des1, des2)
matches = sorted(matches, key=lambda x: x.distance)

对关键点进行一一匹配。一对一匹配。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

难做到真正的技术提升。**

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！