ICE-BA代码解析

从main函数开始，读取左右相机，IMU的配置文件，加载左相机和右相机的图像列表，然后进入循环处理依次处理每一帧图像并跟踪特征点，特征点跟踪使用的Brisk库，和通用的跟踪过程相似，我们主要关注特征点跟踪之后的处理流程。以双目为例：

1. 函数create_iba_frame()

函数create_iba_frame()会将跟踪的左右图像特征点，IMU数据转化为IBA::CurrentFrame和IBA::KeyFrame，便于后续的处理。

左目特征点保存在key_pnts，右目特征点保存在key_pnts_slave，IMU数据保存在imu_meas，以及处理的时间戳time_stamp，作为入参传给create_iba_frame()。

IBA::CurrentFrame CF是其中的一个出参，保存的是转换的普通帧数据。

IBA::KeyFrame KF是其中的另一个出参，保存的是转换的关键帧数据。

1.1 特征点key_pnts和key_pnts_slave

首先跟踪的特征点，左目保存在key_pnts，右目保存在key_pnts_slave，特征点都是通过class_id唯一标识，如果一个特征点在前后两帧都被跟踪到，那么class_id是一样的。

key_pnts和key_pnts_slave中的特征点都是关于class_id有序排列的，而且右目中的特征点都是从左目中投射过去的，所以每一帧的key_pnts_slave都是key_pnts的子集。

第n帧的key_pnts是通过跟踪第n-1帧的key_pnts得来，并会自动补充新的特征点，而第n帧的key_pnts_slave是通过跟踪第n帧的key_pnts得来，并且不会补充特征点。

根据这个特征点跟踪的特性，可以看出只有首次补充的特征点的class_id是紧密排列的，只要经过跟踪步骤，就会有跟丢的可能，跟丢就不再是紧密排列，所以右目的特征点总是非紧密排列点。

还有一个需要注意的点，class_id是从1开始排序的。

1.2 IBA::CurrentFrame

CurrentFrame.iFrm：代表每一帧的frame id，自增从0开始。

CurrentFrame.C：代表的是CameraIMUState，此处都被初始化为无效值。

CurrentFrame.zs：保存的是MapPointMeasurement类型的数组，只有添加到地图并被再次跟踪的点才会被push进数组，所以第一帧CurrentFrame.zs里面是空的。MapPointMeasurement.idx会保存class_id。

CurrentFrame.us：保存的是IMU的数据。

CurrentFrame.t：保存的是当前帧的时间戳。

CurrentFrame.d：特征点对应深度值，初始化为0。

1.3 IBA::KeyFrame

KeyFrame.iFrm:代表每一帧的frame id，自增从0开始。但是并不是每一帧都是KeyFrame，如果非KeyFrame，KeyFrame.iFrm就会被赋值-1；如果是KeyFrame，KeyFrame.iFrm =CurrentFrame.iFrm。判断当前帧是否需要关键帧的准则是：左目新添加的特征点数量超过20，或者左右目一共跟踪的地图点数量小于20。

KeyFrame.C：代表的是CameraPose，从CurrentFrame.C.C复制过来，此处同样被初始化为无效值。

KeyFrame.zs：保存的是MapPointMeasurement类型的数组，内容从CurrentFrame.zs复制过来的，代表连续跟踪的特征点。

KeyFrame.Xs：保存的是MapPoint类型的数组，代表需要新添加进地图的特征点。MapPoint.X.idx保存的是class_id，MapPoint.zs同样保存的是保MapPointMeasurement类型的数组，只不过此处最多只会存两个，左目和右目。因为MapPointMeasurement.idx是union，此处不保存class_id，而是通过MapPointMeasurement.iFrm保存的Frame_id。这里思考下MapPoint数组中class_id是连续的吗？答案是不连续，因为在左目新添加的特征点数量不超过20的过程中，特征点跟踪肯定是有丢失的。