opencv-python-特征检测笔记

关键单词：

feature：特征；特点

美 [ˈfitʃər]  英 [ˈfiːtʃə(r)]

detect：检测；探测；

美 [dɪˈtekt]  英 [dɪ'tekt]

几个术语：

特征（关键点）：辨识度高的地方，比如一些拐角、一些斑点。包含了位置、大小、方向。

特征描述子：计算关键点的时候，是通过计算关键点周围的像素点得出的。因此，把关键周围的像素以向量的形式记录起来，这就是描述子。描述子不受仿射变换、光照变换等影响，可用于做特征匹配。

Harris特征检测：

import cv2
import numpy as np

img = cv2.imread("01.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)  # 转成灰度图像
# gray = np.float32(gray)  # 好像有些cv2版本需要转成float32的

# 计算harris特征，
# 2和10可以理解成特征点的标记的大小，可以直观的从图上红点看出
# 3表示卷积核的大小，0.04是一个经验值（别人的经验，莫纠结它）
dst1 = cv2.cornerHarris(gray, 2, 3, 0.04)
dst2 = cv2.cornerHarris(gray, 10, 3, 0.04)

img1 = img.copy()
img2 = img.copy()

# 取dst1里比dst1的最大的值的0.00001倍大的数的索引集合
# img1对应的这些索引，将这些像素点改成红色
img1[dst1 > 0.00001*dst1.max()] = [0, 0, 255]
img2[dst2 > 0.01*dst2.max()] = [0, 0, 255]

cv2.imshow("Harris0.00001", img1)
cv2.imshow("Harris0.01", img2)
cv2.waitKey()

第一个图的特征点密密麻麻的，是因为特征点多，但特征点的标记小（2）

第二个图的特征点少，但是特征标记大（10）

Shi-Tomasi角点检测

img = cv2.imread("01.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 10表示最多显示10个特征点
# 0.01跟harris检测中的0.01*dst.max()一样，低于这个值的特征点将被抛弃，即特征不明显
# 20表示特征点之间相距不能小于20像素
corners = cv2.goodFeaturesToTrack(gray, 10, 0.01, 20)

# 数据类型由[[[333. 312.]....变成[[[333 312]]...
corners = np.int32(corners)

for i in corners:
    x, y = i.ravel()
    cv2.circle(img, (x, y), 4, (0, 0, 255), 2)

cv2.imshow("corners", img)
cv2.waitKey()

SIFT：尺度不变特征转换 (Scale-invariant feature transform)

ORB：快速提取特征点和描述（Oriented FAST and Rotated BRIEF）

img = cv2.imread("01.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 将图像复制3份
img_sift = img.copy()
img_sift_flags = img.copy()
img_orb = img.copy()


# 创建SIFT对象、ORB对象
# 新版的opencv已经包含了SIFT的实现
SIFT = cv2.SIFT.create()
# 显示100个特征， 使用FAST算法求特征值，除了FAST算法，还有Harris算法
ORB = cv2.ORB.create(nfeatures=100, scoreType=cv2.ORB_FAST_SCORE)

# 检测特征和计算描述子，None处是一个掩模，None表示不设置掩模
kp_sift, des_sift = SIFT.detectAndCompute(gray, None)
kp_orb, des_orb = ORB.detectAndCompute(gray, None)

# 一个关键点和它的描述子
# keypoint_0 = kp[0]
# print(des[0])

# 在img上绘制特征，结果保存到img_sift
cv2.drawKeypoints(img, kp_sift, img_sift)
# 把方向、特征值大小都表示出来了
cv2.drawKeypoints(img, kp_sift, img_sift_flags, flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv2.drawKeypoints(img, kp_orb, img_orb)

cv2.imshow("SIFT", img_sift)
cv2.imshow("SIFT_FLAGS", img_sift_flags)
cv2.imshow("ORB", img_orb)

cv2.waitKey()

下面打印出一个特征点和它的描述子

最后，Harris和Shi-Tomasi用于特征检测

SITF和ORB同时提取特征并记录描述子，可用于做图像的特征匹配。其中SITF较准确但运行速度较慢，ORB则可以做到实时的程度。