关键单词:
feature:特征;特点
美 [ˈfitʃər] 英 [ˈfiːtʃə(r)]
detect:检测;探测;
美 [dɪˈtekt] 英 [dɪ'tekt]
几个术语:
特征(关键点):辨识度高的地方,比如一些拐角、一些斑点。包含了位置、大小、方向。
特征描述子:计算关键点的时候,是通过计算关键点周围的像素点得出的。因此,把关键周围的像素以向量的形式记录起来,这就是描述子。描述子不受仿射变换、光照变换等影响,可用于做特征匹配。
Harris特征检测:
import cv2
import numpy as np
img = cv2.imread("01.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 转成灰度图像
# gray = np.float32(gray) # 好像有些cv2版本需要转成float32的
# 计算harris特征,
# 2和10可以理解成特征点的标记的大小,可以直观的从图上红点看出
# 3表示卷积核的大小,0.04是一个经验值(别人的经验,莫纠结它)
dst1 = cv2.cornerHarris(gray, 2, 3, 0.04)
dst2 = cv2.cornerHarris(gray, 10, 3, 0.04)
img1 = img.copy()
img2 = img.copy()
# 取dst1里比dst1的最大的值的0.00001倍大的数的索引集合
# img1对应的这些索引,将这些像素点改成红色
img1[dst1 > 0.00001*dst1.max()] = [0, 0, 255]
img2[dst2 > 0.01*dst2.max()] = [0, 0, 255]
cv2.imshow("Harris0.00001", img1)
cv2.imshow("Harris0.01", img2)
cv2.waitKey()
第一个图的特征点密密麻麻的,是因为特征点多,但特征点的标记小(2)
第二个图的特征点少,但是特征标记大(10)
Shi-Tomasi角点检测
img = cv2.imread("01.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 10表示最多显示10个特征点
# 0.01跟harris检测中的0.01*dst.max()一样,低于这个值的特征点将被抛弃,即特征不明显
# 20表示特征点之间相距不能小于20像素
corners = cv2.goodFeaturesToTrack(gray, 10, 0.01, 20)
# 数据类型由[[[333. 312.]....变成[[[333 312]]...
corners = np.int32(corners)
for i in corners:
x, y = i.ravel()
cv2.circle(img, (x, y), 4, (0, 0, 255), 2)
cv2.imshow("corners", img)
cv2.waitKey()
SIFT:尺度不变特征转换 (Scale-invariant feature transform)
ORB:快速提取特征点和描述(Oriented FAST and Rotated BRIEF)
img = cv2.imread("01.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 将图像复制3份
img_sift = img.copy()
img_sift_flags = img.copy()
img_orb = img.copy()
# 创建SIFT对象、ORB对象
# 新版的opencv已经包含了SIFT的实现
SIFT = cv2.SIFT.create()
# 显示100个特征, 使用FAST算法求特征值,除了FAST算法,还有Harris算法
ORB = cv2.ORB.create(nfeatures=100, scoreType=cv2.ORB_FAST_SCORE)
# 检测特征和计算描述子,None处是一个掩模,None表示不设置掩模
kp_sift, des_sift = SIFT.detectAndCompute(gray, None)
kp_orb, des_orb = ORB.detectAndCompute(gray, None)
# 一个关键点和它的描述子
# keypoint_0 = kp[0]
# print(des[0])
# 在img上绘制特征,结果保存到img_sift
cv2.drawKeypoints(img, kp_sift, img_sift)
# 把方向、特征值大小都表示出来了
cv2.drawKeypoints(img, kp_sift, img_sift_flags, flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv2.drawKeypoints(img, kp_orb, img_orb)
cv2.imshow("SIFT", img_sift)
cv2.imshow("SIFT_FLAGS", img_sift_flags)
cv2.imshow("ORB", img_orb)
cv2.waitKey()
下面打印出一个特征点和它的描述子
最后,Harris和Shi-Tomasi用于特征检测
SITF和ORB同时提取特征并记录描述子,可用于做图像的特征匹配。其中SITF较准确但运行速度较慢,ORB则可以做到实时的程度。