luofeiju的专栏

FAST(Featrues from Accelerated Segment Test)，其基本思想是比较当前点与周边点差异，当周边有连续不少于一半的点均比中间点亮或者暗，则认为该点为一个特征点。由于需要满足不少于一半的连续周边点亮于或暗于中间点，可以首先检测水平与垂直方向上四个点，当少于两个连续点满足条件，则该点一定不是候选特征点。1）在特征点区域内随机生成 N 个点对，这N个点对生成方式有很多种，但一旦生成，对于所有特征点描述均使用相同的点对模式；5）使用特征点方向生成 BRIEF 特征点描述向量；

一种扩展方式是区分 dx，dy 方向，分别统计 dy > 0 时对应的 dx 求和，dy < 0 时对应的 dx 求和...，这样将 v 扩展为 8 维向量，最终形成 4 * 4 * 8 = 128 维特征向量；5）将特征点区域分为 4 * 4 小区域，在小区域内再次应用小波函数，并分别求出响应和，可构成向量。extended：是否使用扩展特征描述，默认特征点描述向量为64维，扩展特征点描述向量为128维；upright：当特征点方向不改变时，在描述特征点时可不计算特征点主方向；

由于特征点描述基于主方向与尺度信息，故可以使用描述信息对不同尺度，不同方向特征点进行比对。因此， 在归一化梯度直方图上，当梯度强度大于.2 时直接设置为 .2，并再次对梯度直方图归一化处理，这样可得到一个对光照较为稳定的特征点描述。edgeThreshold: 使用该参数剔除边缘特征点，与 contrastThreshold 相反，当 edgeThreshold 越小，剔除点越多；上，对比每个点与周边 26 个邻接点关系，当其值均大于邻接点值或者均小于邻接点值时，确定为候选特征点。

结构体 MatchesInfo 包含了所有图像之间进行两两匹配的相关结构，Mat H 记录了两幅图像间的仿射变换矩阵，该矩阵是全景图像拼接的基础信息，特征点间匹配信息记录在 pairwise_mathes 中。首先将第 i 张图像上特征点映射到三维空间，然后再将三维空间点映射到第 j 张图像中，注意，两次映射使用了不同的映射矩阵！以上代码首先估计相机焦距，在 “全景图像拼接” 一文中，给出了根据仿射变换估计相机焦距的方法，主要是利用旋转矩阵的正交特性来实现的。

完成全局配准后，全景图像仍然可能存在局部错位，这可能是因为镜头镜像畸变，摄像头没有完全绕光轴中心旋转，场景中微小抖动等因素引起。2）决定那一帧图像作为中间参考图像，由于已经知道每一帧图像对应的旋转角度，一般旋转平均旋转角度附近的图像作为中间参考图像；1）选择合成表面，当少量图像拼接时，可以选择平坦全景图；由于每对图像间的配准估计均可能存在误差，当多幅图像通过图像对间配准参数配准时，会形成累积误差，一般情况下，该变化的参数个数为 4，包括 1）固定未知焦距，2）旋转参数（3个），

现在不考虑摄像机内外参细节内容，投影变换矩阵P是一个3*4的变换矩阵，其自由度为11， 只需保证12个元素间的比值一致即可表示同一变换，当完成标定后，我们得到了一个投影变换矩阵P，该矩阵描述了相机变换的内外参数，在应用中需要根据变换矩阵P求解具体内外参数。由于U也为正交向量，||Uq||=||q||，所以经过Uq变换后得到的模长也是趋近0，因此找到了一个最优解！以上表达式中，x与X分别表示图像空间与三维空间中点的坐标，为已知值，P为待求未知量。，这里仅有T是未知量，K为一个上三角矩阵，直接回代即可求解T。

一个3*4的矩阵包含了12个元素，由于一组各元素比值相同的变换对应一个齐次变换，因此该矩阵正好包含了11个自由度，主平面是经过相机中心且平行于像平面的平面（XY平面），很显然该平面上任意点都投影到像平面的无穷远点，2）已知图像上点x，根据相机模型，无法确定一个唯一的三维点，但可以确定一条经过相机中心到无穷远点的射线，矩阵K表达了相机相关属性，为相机内参，矩阵R，C表达了世界坐标系与相机坐标之间的关系，称为相机外参。1）将世界坐标变换到相机坐标，2）在相机坐标下将三维空间点投影到二维图像平面，