[RGB-D目标跟踪] Vot-toolkit使用方法记录

前言

使用vot-toolkit测试传统跟踪算法的方法诸多文章都有写，自从VOT-Challenge加入RGB-D赛道后，这一方向的论文许多也使用这个工具测评例如CDTB数据集等，自己操作了一遍，也是踩了许多坑，顺手记录下。
感谢两篇文章提供最初的帮助，本文也引用了一些内容：
vot-toolkit-python测试DiMP50在VOT2018上的表现
[目标跟踪]vot-toolkit-python的使用

下载与安装toolkit

假设你的电脑可以翻墙或者现在恰好可以畅通无阻的访问Github：

// 前提你的网络能连通github
pip install git+https://github.com/votchallenge/vot-toolkit-python

无法连通：

// 下载或拷贝文件到电脑上
git clone https://github.com/votchallenge/toolkit.git

//安装所需环境
cd vot_toolkit
pip install -r requirements.txt

//安装这个库
python setup.py install

自己实际操作的时候有坑：这样git下来的toolkit是最新版的，后续一些库代码和算法作者提供的VOT.py文件会有版本冲突，例如我发现最新的toolkit中Region被封装到了Objects中，会导致老一些的VOT.py文件不能使用最新的toolkit。因此安装前点开requirements.txt文件看清楚版本，要和使用的VOT.py文件里的同步。

四个步骤完成使用

1. initialize
2. test
3. evaluate
4. analysis

1. initialize

任意地方新建一个空文件夹，比如名为vot-test，目的是创建一个工作目录存放测试的数据集，结果等。
stack-name为想要评测的数据集，如vot2018，所有数据集的名字能在vot-toolkit-python/vot/stack下找到
–nodownload参数不加会自动下载数据集，一般建议不自动下载，使用软连接方式省事省力。

//初始化代码
vot initialize <stack-name> --workspace <workspace-path> --nodownload
//实例
cd vot-test
vot initialize vot2016

创建工作区完成后文件目录会变成：

logs 记录4个步骤中错误退出的日志。
results 记录测评结果等。
sequences 存放测试用的数据集。
config.yaml 写明了要进行toolkit中的哪个测试，其中的stack参数要与vot-toolkit- python/vot/stack中对应，不然会提示找不到stack。

//实例
registry:
- ./tracker.ini
-stack: vot2021/rgbd

trackers.ini 用于给toolkit传递tracker信息。

# <tracker-name>
[OSTRACK] 
label = OSTRACK
protocol = traxpython
#跟踪器运行的py文件名
command = OSTRACK_baseline
#跟踪器文件对应工作目录
paths = /home/yg/pytracking/pytracking
# 默认的就是你之前pip安装vot-toolkit-python的环境
python = /home/yg/anaconda3/bin/python
# restart = true

如果遇到重启失败的报错(报错可以在workspace下的logs里面查看)，可以试着在trackers.ini里面加一句restart = true,即把上面最后一行去掉注释即可.

最后一步，软连接关联数据集到sequences文件夹。

ln -s <dataset-root> <sequences-root>
//实例
ln -s RGBD/Dataset/VOT2018 /home/CDTB_Workspace/sequences

完成后你就会发现sequences文件夹下有数据啦，这样不用复制粘贴移动几百G的图像很省时省力。

2. test

测试只是验证每一步是否正确，有误的话可以打开logs查看哪里没通。

vot test OSTRACK

//出现类似如下信息就是没问题
//Updating on frame xx/xx
//@@TRAX:frame "file:///xxxxx.jpg" 
//@@TRAX:state "xxxxxx" //"confidence=xxxxx" 
//Stopping tracker
//@@TRAX:quit 
//Test concluded successfuly

3. evaluate

评估就是让算法正式在toolkit上进行测评了。

vot evaluate --workspace <workspace-path> <tracker-name>
//实例
//vot evaluate --workspace /home/yg/CDTB_workspace OSTRACK
#多模态的时间挺久的，CDTB我测了一小时左右

4. analysis

评估就是让算法正式在toolkit上进行测评了。

vot analysis --workspace <workspace-path> <tracker-name>
//实例
//vot analysis --workspace /home/yg/CDTB_workspace OSTRACK

都完成后你就可以在analysis文件夹内看到一个结果文件啦，就完成整个测评了。
如果你对测评方式有自己的想法，可以去vot-toolkit/vot/stack/路径中修改对应.yaml文件的配置，来完成自定义的测评。