计算相机位姿——直接法

直接法根据像素的亮度信息来估计相机运动，不需要知道点之间的对应关系，而是通过最小化光度误差来求得。
光流是一种描述像素随时间在图像之间运动的方法，计算部分像素运动的称为稀疏光流，计算所有像素的成为稠密光流。其中系数光流以Lucas-Kanade光流为代表（LK光流）。其常用来跟踪角点的运动。
灰度不变假设：同一个空间点的像素灰度值，在各个图像中是固定不变的。
在t时刻，某一图像位于（x，y）处的灰度为
$$\mathbf{I}(x,y,t)$$
根据灰度不变假设，有$$\mathbf{I}(x+\mathrm{d}x,y+\mathrm{d}y,t+\mathrm{d}t)=\mathbf{I}(x,y,t)$$
泰勒展开得$$\mathbf{I}(x+\mathrm{d}x,y+\mathrm{d}y,t+\mathrm{d}t)\approx \mathbf{I}(x,y,t)+\frac{\partial \mathbf{I}}{\partial x}\mathrm{d}x+\frac{\partial \mathbf{I}}{\partial y}\mathrm{d}y+\frac{\partial \mathbf{I}}{\partial t}\mathrm{d}t$$
由于灰度不变假设，消去两项得$$\begin{array}{c}\frac{\partial \mathbf{I}}{\partial x}\mathrm{d}x+\frac{\partial \mathbf{I}}{\partial y}\mathrm{d}y+\frac{\partial \mathbf{I}}{\partial t}\mathrm{d}t=0\\ \frac{\partial \mathbf{I}}{\partial x}\frac{\mathrm{d}x}{\mathrm{d}t}+\frac{\partial \mathbf{I}}{\partial y}\frac{\mathrm{d}y}{\mathrm{d}t}=-\frac{\partial \mathbf{I}}{\partial t}\end{array}$$
dx/dt表示像素点在x轴上得运动速度，dy/dt表示在y轴上的速度，分别设为u，v，∂I/∂x表示图像在该点处x方向上的梯度，∂I/∂y表示y方向上的梯度，设为Ix, Iy，图像灰度对时间的变化量记为It，写成矩阵形式：
$$[\begin{array}{l}{\mathbf{I}}_x\end{array}$$