SIFT读书笔记

 *****************************************************************************************************************

变分在数学和物理里面都有，学物理的人用的时候都不是那么严格，一般来说函数对自变量我们用偏导，而泛函的自变量是函数，对函数就只能用变分了。物理上变分法一般是让泛函的自变量（函数）有小的变动，但是两个端点不能动。然后要求泛函的变分为0，这样可以求得运动方程，如果和实际的运动方程一致，我们认为我们选择的泛函是合理的上面哥们答得也很不错。这里我就不重复了

 *****************************************************************************************************************

拉格朗日乘数法

设给定二元函数z=ƒ(x,y)和附加条件φ(x,y)=0，为寻找z=ƒ(x,y)在附加条件下的极值点，先做拉格朗日函数L(x,y)=ƒ(x,y)+λφ(x,y)，其中λ为参数。求L(x,y)对x和y的一阶偏导数，令它们等于零，并与附加条件联立，即

　　L'x(x,y)=ƒ'x(x,y)+λφ'x(x,y)=0，

　　L'y(x,y)=ƒ'y(x,y)+λφ'y(x,y)=0，

　　φ(x,y)=0

　　由上述方程组解出x，y及λ，如此求得的(x,y)，就是函数z=ƒ(x,y)在附加条件φ(x,y)=0下的可能极值点。

 *****************************************************************************************************************

注册是把同一物体在两帧图像中的特征点对应起来并计算物体在两帧图像

中运动参数的过程。基于注册跟踪的姿态跟踪方法通常假设头部为刚性物体，通

过帧与帧之间的特征点跟踪计算运动参数

 

SIFT描述符的注册方法来计算头部运动。基于SIFT描述符的

注册算法主要包括三个步骤:一是在两帧图像中检测一些SIFT特征点并把它们

进行匹配;二是使用立体摄像机或者立体匹配技术获取匹配特征点对应的深度信

息;三是为了避免错误匹配点的影响使用基于随机抽样一致性(RANsAC)I77〕的算

法来计算头部姿态变化。与现有的头部运动跟踪方法相比，该方法可在两帧人脸

图像的尺度有一定变化时计算两帧间的姿态参数变化，是一种适合大范围头部姿

态跟踪的注册算法。

 

 

 

基于灰度不变约束方程

bcce

求出三个角度和三个平移量

包括三个旋转角度和三个平移距离，

 

 

horn 光流算法

 

Hom方法180]，只要三对匹配点就可以近似地计算出两帧之间的头部运动，不过匹

配点越多计算结果越准确和稳定

 

推导光流方程过程：

假设E(x,y,t)为(x,y)点在时刻t的灰度（照度）。设t+dt时刻该点运动到(x+dx,y+dy)点，他的照度为E(x+dx,y+dy,t+dt)。我们认为，由于对应同一个点，所以

E(x,y,t) = E(x+dx,y+dy,t+dt)   —— 光流约束方程

将上式右边做泰勒展开，并令dt->0，则得到：E_xu+E_yv+E_t = 0，其中：

Ex = dE/dx   Ey = dE/dy   Et = dE/dt   u = dx/dt   v = dy/dt

上面的Ex,Ey,Et的计 算都很简单，用离散的差分代替导数就可以了。光流法的主要任务就是通过求解光流约束方程求出u,v。但是由于只有一个方程，所以这是个病态问题。所以人们 提出了各种其他的约束方程以联立求解。但是由于我们用于摄像机固定的这一特定情况，所以问题可以大大简化。

 

 

***********************************************************************************

摄像机标定

 

 

 

光流法用于目标检测的原理：给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。在某一特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可以通过投影来计算得到。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。需要提醒的是，利用光流法进行运动物体检测时，计算量较大，无法保证实时性和实用性。

光流法用于目标跟踪的原理：

（1）对一个连续的视频帧序列进行处理；

（2）针对每一个视频序列，利用一定的目标检测方法，检测可能出现的前景目标；

（3）如果某一帧出现了前景目标，找到其具有代表性的关键特征点（可以随机产生，也可以利用角点来做特征点）；

（4）对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；

（5）如此迭代进行，便可实现目标的跟踪；

  

采用简化 sift算法实现快速图像匹配 刘立 华中科技大

 

 Lowe 提出的SIFT 算法主要包括4 个步骤:
(1) 尺度空间极值检测。首先建立图像的DOG
(Difference#of #Gaussian) 金字塔, 在DOG 尺度空间中
的26 个领域中检测极值, D(x,y,σ)是两个相邻尺度图
像之差, 即:
D(x,y,σ)=(G(x,y,kσ)- G(x,y,σ))*I(x,y)= (3)
L(x,y,k!)- L(x,y,!)
一个点如果在DOG 尺度空间本层以及上下两层
的26 个领域中是最大或最小值时, 就认为该点是图
像在该尺度下的一个特征点, 如图1 所示。
(2) 利用关键点邻域像素的梯度方向分布特性, 为
每个关键点指定方向参数, 使算子具备旋转不变性。

$(x,y)=arctan{[L(x,y+1)- L(x,y- 1)]/[L(x+1,y)- L(x- 1,y)]}(5)
公式(4)、(5)为(x,y)处梯度的模值和方向公式。其中L
所用的尺度为每个关键点各自所在的尺度。
实际计算时, 在关键点为中心的邻域窗口内采
样, 并用直方图统计邻域像素的梯度方向。梯度直方
图的范围是0～360°, 每10°代表一个方向, 总共36 个
方向。直方图的峰值代表该特征点处邻域梯度的主方
向, 作为该关键点的方向。图2 是采用7 个方向时使
用梯度直方图为特征点确定主方向的示例。
图2 建立特征点方向
Fig.2 To establish the orientation of feature point
(3) 生成SIFT 特征向量, 将坐标轴旋转到特征点
方向, 以保证旋转不变性。然后, 以关键点为中心取8×
8 的窗口。图3(a)的中央黑点为当前关键点的位置,
(a) (b)
图3 由特征点邻域梯度信息生成特征向量
Fig.3 Creating SIFT descriptor from the gradient
information of neighbourhood
每个小格代表关键点邻域所在尺度空间的一个像素,
利用公式(4)、( 5) 求得每个像素(i,j)的梯度幅值mi,j 与
梯度方向θi,j , 箭头方向代表该像素的梯度方向, 箭头
长度代表梯度模值, 然后用高斯窗口对其进行加权运
算, 每个像素对应一个向量, 长度为G(σ′,i,j)*mi,j ,
G(σ′,i,j)为该像素点的高斯权值, 方向为θi,j , 图中圆
圈代表高斯加权的范围, 根据参考文献[5] 高斯参数
182
第1 期刘立等: 采用简化SIFT 算法实现快速图像匹配
σ′取3 倍特征点所在的尺度, 即3σ。每个向量在2×2
的子窗口范围内投影到8 个梯度方向上, 绘制每个梯
度方向的累加值, 即可形成一个8 维向量, 如图3(b)
所示。Lowe 在实际应用中采用4×4 个小窗口, 这样每
个特征点就用128 维向量来表征。最后对特征向量规
一化, 去除光照影响。
(4) 特征匹配。当两幅图像的SIFT 特征向量生成
后, 就采用欧式距离来作为两幅图像中关键点的相似
性判定度量, 当此距离小于某个阈值时就认为这两个
点已匹配上。