特征点匹配之-光流法(LK)
一、理论
LK是特征点匹配其实并不确切,更多的应该叫特征点追踪。为什么这么说呢?是因为前面我们提到的ORB,SIFT,SURF(点击查看)都是要计算特征点的描述子的,通过描述子之间的距离来判断特征点是否匹配,而光流法并不需要计算描述子。
LK光流法基于以下三条假设:
(1) 亮度恒定:一个像素点随着时间的变化,其亮度值(像素灰度值)是恒定不变的。这是光流法的基本设定。所有光流法都必须满足。
(2)小运动: 时间的变化不会引起位置的剧烈变化。这样才能利用相邻帧之间的位置变化引起的灰度值变化,去求取灰度对位置的偏导数。所有光流法必须满足。
(3)空间一致:即前一帧中相邻像素点在后一帧中也是相邻的。这是LK光流法独有的假定。因为为了求取x,y方向的速度,需要建立多个方程联立求解。而空间一致假设就可以利用邻域n个像素点来建立n个方程。
二、使用
opencv中calcOpticalFlowPyrLK实现了光流法:
import numpy as np
import cv2
'''
LK for video
'''
cap = cv2.VideoCapture('../asset/video/2.mp4')
# 角点检测所需参数 最大检测数量 角点的检测最低下hi两小于0.3不被计入 最小的欧氏距离
feature_params = dict(maxCorners=100, qualityLevel=0.3, minDistance=7)
# lucas kanade参数
# winSize 选择多少个点进行u,v的求解 图像金字塔的层数
lk_params = dict(winSize=(30, 30), maxLevel=6)
# 随机颜色条
color = np.random.randint(0, 255, (100, 3))
# 拿到第一帧图像
ret, oldframe = cap.read()
old_gray = cv2.cvtColor(oldframe, cv2.COLOR_BGR2GRAY)
# 返回所有检测特征点,需要输入图像,角点最大数量(效率),品质因子(特征值越大的越好,来筛选)
# 距离相当于这区间有比这个角点强的,就不要这个弱的了 Shi-Tomasi算子的运用 ,用于检测角点
p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params)
# 创建一个mask
mask = np.zeros_like(oldframe)
while True:
ret, frame = cap.read()
framegray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
# 需要传入前一帧和当前图像以及前一帧检测到的角点
p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, framegray, p0, None, **lk_params)
# st=1表示
good_new = p1[st == 1]
good_old = p0[st == 1]
# 绘制轨迹
for i, (new, old) in enumerate(zip(good_new, good_old)):
a, b = new.ravel()
c, d = old.ravel()
mask = cv2.line(mask, (a, b), (c, d), color[i].tolist(), 2)
frame = cv2.circle(frame, (a, b), 5, color[i].tolist(), -1)
img = cv2.add(frame, mask)
cv2.imshow('frame', img)
k = cv2.waitKey(150) & 0xff
if k == 27:
break
# 更新
old_gray = framegray.copy()
p0 = good_new.reshape(-1, 1, 2)
cv2.destroyAllWindows()
cap.release()
结果(截图):
若是要匹配两张图中的特征点:
import numpy as np
import cv2
"""
LK for image
"""
img_old = cv2.imread('../asset/image/1.bmp')
img_new = cv2.imread('../asset/image/2.bmp')
old_frame = cv2.cvtColor(img_old, cv2.COLOR_BGR2GRAY)
new_frame = cv2.cvtColor(img_new, cv2.COLOR_BGR2GRAY)
feature_params = dict(maxCorners=100, qualityLevel=0.3, minDistance=7)
lk_params = dict(winSize=(30, 30), maxLevel=6)
p0 = cv2.goodFeaturesToTrack(old_frame, mask=None, **feature_params)
p1, st, err = cv2.calcOpticalFlowPyrLK(old_frame, new_frame, p0, None, )
p11 = p1[st == 1]
p00 = p0[st == 1]
for i, (new, old) in enumerate(zip(p11, p00)):
image_old = cv2.circle(img_old, (old[0], old[1]), 5, (0, 0, 255), -1)
image_new = cv2.circle(img_new, (new[0], new[1]), 5, (0, 0, 255), -1)
cv2.imshow('new', image_new)
cv2.imshow('old', image_old)
另:
goodFeaturesToTrack是一种角点检测算法,默认使用shi-tomasi角点。
void cv::goodFeaturesToTrack( InputArray _image, OutputArray _corners,
int maxCorners, double qualityLevel, double minDistance,
InputArray _mask, int blockSize,
bool useHarrisDetector, double harrisK )
InputArray _image:输入图像
OutputArray _corners:输出角点
maxCorners: 最大角点数
qualityLevel:品质等级低于这个值就不统计
minDistance:最小距离,在该距离内取品质最好的角点(相当于非极大值抑制)
_mask:图像掩膜区域
blockSize:计算协方差矩阵时的窗口大小
useHarrisDetector:指定检测算子,默认shi-tomasi角点,可选Harris角点检测
harrisK:Harris角点检测需要的k值
三、总结
1、LK光流法构建的是稀疏场景。
2、相较于ORB、SITF、SURF来说不需要计算描述子,减少了运算时间。