EVO Evaluation of SLAM 5 --- ORB-SLAM3 精度和性能效果评估

一、前言

上一篇文章已经把怎么编译和运行ORB-SLAM3讲的差不多了：
EVO Evaluation of SLAM 4 — ORB-SLAM3 编译和利用数据集运行

接下来就是基于ORB-SLAM3运行的结果，利用EVO来评估其性能。

二、说明

运行的ORB-SLAM3的代码是：
https://github.com/shanpenghui/ORB_SLAM3_Fixed.git

评估的主要依据ORB-SLAM3各个版本运行的结果来进行评估，下面分版本和数据集进行评估。

三、ros版本的编译和运行

1.EuRoc

(1)Groundtruth

cd MH_01_easy/mav0/state_groundtruth_estimate0
evo_traj euroc data.csv --save_as_tum

(2)APE

A.Stereo

evo_ape tum FrameTrajectory_TUM_Format.txt data.tum -p --plot -s --correct_scale -a --align -v --save_results orbslam3_stereo_ros_euroc.zip

结果：

B.Mono

evo_ape tum KeyFrameTrajectory.txt data.tum -p --plot -s --correct_scale -a --align -v --save_results orbslam3_mono_ros_euroc.zip

结果：

四、非ros版本的运行(Monocular)

因为比较复杂，已经更新到代码中了，具体参见链接：ORB_SLAM3_Fixed
在本例中，使用的是非ros单目版本，Euroc MH_01_easy的数据集。

1.Run ORB-SLAM3

cd shells
./tum_vi.sh

Get the result file as :

f_dataset-mh_01_easy.txt
kf_dataset-mh_01_easy.txt

2.Process the ORB-SLAM3 result file

一、Copy file

Process the ORB-SLAM3 result fileMove the result files above to the results folder

cd ORB_SLAM3_Fixed
cp f_dataset-mh_01_easy.txt results
cp kf_dataset-mh_01_easy.txt results
cd results

二、Process slam data (output is raw.csv)

A.Change the file name in process_orbslam_result.py Line 6 and Line 25

Line 6-7
dataset_path = './'
file_name = 'f_dataset-mh_01_easy.txt'

B.Process calibration files

python3 process_orbslam_result.py

C.Check trjactory if it is correct

evo_traj tum raw.csv -p

D.Save trjactory into standard format

evo_traj tum raw.csv --save_as_tum

E.Compare itself(or other)

evo_traj tum raw.tum --ref=raw.tum -va -p -s

3.Process the TUM groundtruth (output is gt.csv)

这里不用python脚本转换，可能evo升级了，最新的版本是不用转换的，运行脚本反而会出错。这里直接把gt的原文件转成tum就可以了。

rm -rf gt.csv
cp data.csv gt.csv
evo_traj euroc gt.csv -p
evo_traj euroc gt.csv --save_as_tum

4.Compare the groundtruth and the ORB-SLAM3 result

evo_traj tum raw.tum --ref=gt.tum -v -a -p -s

5.Calculate ATE of ORB-SLAM3 Monocular

evo_ape tum raw.tum gt.tum -v -a -p -s --save_results orbslam3_mono_unros_euroc_mh_01_easy.zip

五、整合不同结果

evo_ape/evo_rpe中将结果保存为.zip文件后，可以利用evo_res对不同的结果进行比较。
例如：MH3.zip、MH3_2.zip均由evo_ape得到的，运行命令evo_res MH3.zip MH3_2.zip -v

六、非ros版本的运行(RGB-D)

1.Run

./tum_rgbd.sh

2.Copy result files to folder

3.Copy groundtruth files to folder

4.Check CameraTrajectory

evo_traj tum CameraTrajectory.txt -p

5.Change CameraTrajectory format

evo_traj tum CameraTrajectory.txt --save_as_tum

6.Check Groundtruth Trajectory

evo_traj tum groundtruth.txt -p

7.Change Groundtruth Trajectory format

evo_traj tum groundtruth.txt --save_as_tum

8.Compare the groundtruth and the ORB-SLAM3 result

evo_traj tum CameraTrajectory.tum --ref=groundtruth.tum -v -a -p -s

9.Calculate ATE

evo_ape tum CameraTrajectory.tum groundtruth.tum -v -a -p -s