如何使用vot-toolkit对自己跟踪器的结果进行测评（2024年）

一、配置环境

本次测试环境安装前先创建了一个python3.7的环境。未安装其它库，按照官方要求python版本要>3.6

使用anaconda直接配置环境，依照官方文本直接输入以下代码

pip install git+https://github.com/votchallenge/vot-toolkit-python

第一次输入时会报错

 这是因为默认库里面没有git库，输入以下代码安装，如果在linux下，一般不会出现该错误。

conda install git

安装成功后再次配置环境，配置成功

        值得注意的是以上操作并不是把vot-toolkit作为一个项目拷贝到本机上，而是将它作为一个库导入了我创建的环境，不要开VPN，会报错。

 二、工作区（workspace）的配置

通过以下代码直接创建workspace

vot initialize <stack-name> --workspace <workspace-path> --nodownload

其中<stack-name>是目录vot/stack 中的有效堆栈，即要测试的数据集，目前该环境下有以下几种选择。

 <workspace-path>是存储结果的路径。

nodownload表示不下载数据集

尝试运行时，出现以下错误

第一个显示无法导入trax协议，检查了一下发现已经装好了，但没有用，反复尝试后发现是trax版本问题，版本过高，换到3.0.2版本，结果如下

 好了，少了一个错，第二个说Experiment stack None not found，说我没有Experiment Stack，也就是实验堆栈，就是上图的stack-name，翻了一下环境里的stack文件夹，发现结果如下

 确实没有，和上面对不上，从项目中copy了一个vot2017.yaml，再次测试，成功完成,重要的并不是文件夹，而是yaml文件。

 至于其余数据集，有长时间评测，和短时间评测等多种配置，根据需要选择，添加yaml的具体位置位于虚拟环境的vot库中，我的位置如下，可供参考。

三、修改trackers.ini文件并设置解释器路径

工作区配置完成后，会在所配置的工作地址处，生成以下几个文件

         修改trackers.ini文件，.ini文件是一种配置文件，用于存储程序或系统的配置信息。它通常以文本形式保存，使用特定的格式进行编写和解析。

        刚创建的trackers.ini是一个完全空的文件，需要为它配置基本信息。

   

         其中,[]和label填写跟踪器的名称，protocol即所使用的trax协议，command是所使用的跟踪器文件，paths是工作地址，env_path是环境的Python文件，不填为默认环境。

        再运行验证和分析之前，需要配置两个py文件在工作区。一个是vot.py文件，一个是跟踪器的定义文件，这里我直接用了官方给的例程，也就是static_singleobject.py，如果想测自己的，可以参考stark的写法

四、evaluate

        先验证再分析结果，因为这个工具跑出来的结果并不是txt文件，所以不能用常见的跟踪结果直接分析性能。

vot evaluate --workspace /home/vot/votssd/code siammask

其结果如下图所示 ，该文件会在results文件夹下生成。

 五、analysis

具体操作与四相同

vot analysis --workspace /home/vot/votssd/code siammask

默认输出json文件，保存在analysis文件夹下。

        现在是2024年，vot toolkit在现在更新后已经无法直接在analysis命令时指定输出格式为html，翻了一下代码，发现分析接口不再提供该格式，转而在报告中提供。

2024年的代码：

2020年的代码：

于是需要加一行

vot report --workspace /home/vot/votssd/code siammask --format html

输出成功，结束