光流与Lucas-Kanade 光流法

光流optical flow是指空间运动物体在观察成像平面上的像素运动瞬时速度，即由于目标对象或者摄像机移动造成、图像对象在连续两帧图像中的移动。光流是一个 2D 向量场，如下图所示，可以显示一个点从第一帧图像到第二 帧图像之间的移动：

 

关于光流的假设：目标对象在连续的两帧图像之间像素灰度值不改变，并且这些相邻像素都具有相同的运动。根据这一假设，Lucas-Kanade 利用一个 3x3 邻域中的 9 具有相同运动的这一点获得空间尺度上的光流。OpenCV 函数cv2.calcOpticalFlowPyrLK()、cv2.goodFeatureToTrack()等帮助我们跟踪视频中的一些点，我们通过下面的图像先感受一下:

 

光流跟踪方法：

##### 示例方法：
url_path = 'https://img1.baidu.com/it/u=681934324,621431638&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=333'
ori_img = url2img(url_path)
img = ori_img.copy()
color = np.random.randint(0,255,(100,3)) ### 随机颜色
lk_params = dict( winSize = (15,15), maxLevel = 2,
                criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))

feature_params = dict( maxCorners = 100,
                qualityLevel = 0.3,
                minDistance = 7,
                blockSize = 7 )

old_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
p0 = cv2.goodFeaturesToTrack(old_gray, mask = None, **feature_params)
mask = np.zeros_like(img, np.uint8)
frame_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)
good_new = p1[st==1]
good_old = p0[st==1]
for i,(new,old) in enumerate(zip(good_new,good_old)):
    a, b = new.ravel()
    c, d = old.ravel()
    [a,b,c,d] = map(int, [a,b,c,d])
    mask = cv2.line(mask, (a, b), (c, d), color[i].tolist() )
    frame = cv2.circle(img, (a, b), 5, color[i].tolist(), -1)    

img = cv2.add(frame, mask)
mat = np.hstack((ori_img, img))
cv2.imshow("mat", 'mat')

 如下是针对视频的效果：光流检测，
https://www.ixigua.com/7103944810792222720?from_scene=all&is_new_connect=0&is_new_user=0&log_from=75482141479d_1654038585719&wid_try=1

今天就分享到这里, 我是paperClub。

备注：WeiXin 搜索paperClub, 添加关注并回复【paperClub】即可获取使用方法。 

1. 感谢各位小伙伴的关注， 您的点赞、鼓励和留言，都是我深夜坚持的一份动力，无论褒贬，都是我们行进途中最好的回馈，也都会被认真对待。

2. 我将持续分享各类、好玩且有趣的算法应用及工程和项目，欢迎分享和转发。沟通、学习和交流，请与我联系，虽然平时忙，但留言必回，勿急，感谢理解！

3. 分享内容包括开源项目和自研项目，如在引用或使用时，考虑不周、遗漏引用信息或涉及版权等，请您及时联系。如果您对某些内容感兴趣，我们可以一起讨论、交流和学习。