Pysot 长时单目标跟踪代码解读

一、项目简介

最近项目的原因开始研究长时跟踪的解决方案，主要的难点在于
1.需要在目标长时间丢失的情况下一直等待目标出现，出现后重新识别.
2.需要控制云台实时转动防止目标跑出视野之外，需要考虑云台与跟踪算法的闭环。

传统的和AI的都尝试做了复现，传统的主要使用了基于opencv的KCF和CRST算法，单独拿一篇博客来说。
博客地址：

AI的在调研复现了几个跟踪算法后感觉商汤的PYSOT针对我们的需求效果最好，因此学习了一下，这篇主要是写了一下针对github上代码的人理解和个人改动，做个笔记防止以后忘了。关于网络结构和原理以后有空单独写吧。

二、简介

PySOT是商汤科技视频智能研究团队设计的软件系统。它实现了最先进的单对象跟踪算法，包括SiamRPN和SiamMask。它是用 Python 编写的，由PyTorch深度学习框架提供支持。该项目还包含用于评估跟踪器的工具包的 Python 端口。
PySOT包括： SiamRPN、 DaSiamRPN、 SiamRPN++和 SiamMask。

项目开源地址：
https://github.com/STVIR/pysot

个人修改版github地址：
https://github.com/Hongyu-Yue/pysot_Pan-tilt

注：修改了demo.py，增加了photodrive文件夹，内有两个文件，分别为云台和相机控制。需要有相应的硬件才能运行，主要需要云台和海康的长焦相机。

二、简单运行

找到tools/demo.py运行，配置Config如下，其中,pth文件为训练权重文件，在官网下载得到，由于任务为单目标长时跟踪，所以下载了_lt的权重：

--config
E:\python\pythonProject\pysot-master\experiments\siamrpn_r50_l234_dwxcorr_lt\config.yaml
--snapshot
E:\python\pythonProject\pysot-master\experiments\siamrpn_r50_l234_dwxcorr_lt\model.pth

三、对长时跟踪函数siamrpnlt_tracker.py的解读

首先发现实际上DEMO.PY里面的config文件默认的跟踪模式有三个，由Tracker_builder.py决定，如下：

TRACKS = {
          'SiamRPNTracker': SiamRPNTracker,
          'SiamMaskTracker': SiamMaskTracker,
          'SiamRPNLTTracker': SiamRPNLTTracker
         }


def build_tracker(model):
    return TRACKS[cfg.TRACK.TYPE](model)

其中第三个LT为长时跟踪的程序调用，需要把config.yaml(前面设置的地址)里的

TRACK:
    TYPE: 'SiamRPNLTTracker'

TYPE改成 SiamRPNLTTracker才可以调用长时跟踪，调用跟踪函数为siamrpnlt_tracker.py
简单对比了一下，在长时跟踪模式下，会有一个对best_score的判断过程，当best_score低于某一阈值（在config文件中通过TRACK.CONFIDENCE_LOW和TRACK.CONFIDENCE_HIGH设置）时，跟丢指示器longterm_state变为True，报跟丢，高于某一阈值时再变回False，报重识别，这块的代码控制如下：

        if best_score < cfg.TRACK.CONFIDENCE_LOW:
            self.longterm_state = True
        elif best_score > cfg.TRACK.CONFIDENCE_HIGH:
            self.longterm_state = False

当跟丢指示器longterm_state为False时，正常执行跟踪程序，当变为True时会启动查询模式，增大查询框的面积，直到找到可信度高于设定值的目标，会重新进行识别。这段的代码如下，其中两个参数即设置查询框的，也可在CONFIG中找到：

 	if self.longterm_state:
            #a=1
            #cv2.putText(frame, "Tracking failure detected", (100, 80), cv2.FONT_HERSHEY_SIMPLEX, 0.75, (0, 0, 255), 2)
            instance_size = cfg.TRACK.LOST_INSTANCE_SIZE
    else:
        instance_size = cfg.TRACK.INSTANCE_SIZE
    score_size = (instance_size - cfg.TRACK.EXEMPLAR_SIZE) // \
        cfg.ANCHOR.STRIDE + 1 + cfg.TRACK.BASE_SIZE
    hanning = np.hanning(score_size)
    window = np.outer(hanning, hanning)
    window = np.tile(window.flatten(), self.anchor_num)
    anchors = self.generate_anchor(score_size)

    s_x = s_z * (instance_size / cfg.TRACK.EXEMPLAR_SIZE)

    x_crop = self.get_subwindow(img, self.center_pos, instance_size,
                                round(s_x), self.channel_average)
    outputs = self.model.track(x_crop)
    score = self._convert_score(outputs['cls'])
    pred_bbox = self._convert_bbox(outputs['loc'], anchors)

四、改动LOG

除了上述改动以外，demo目前运行的结果有几个小问题：
1.如果跟丢不会报告，而是ROI定在跟丢前地址不动。
2.一旦选择了ROI之后，无法重新选择。
因此针对demo.py做了一些外围改动，主要是增加了重新选择候选框的模块，代码如下：

first_frame_temp = cv2.waitKey(40)
if first_frame_temp != -1:
    first_frame=True
	first_frame_temp = -1

以及增加了跟丢报告功能，并在跟丢时删除ROI框，直到跟上了再重新显示。

if outputs['lost'] == 0:
	bbox = list(map(int, outputs['bbox']))
    cv2.putText(frame, "Tracking OK", (100, 80), cv2.FONT_HERSHEY_SIMPLEX, 0.75,
    (0, 255, 0), 2)
    cv2.rectangle(frame, (bbox[0], bbox[1]),
                 (bbox[0]+bbox[2], bbox[1]+bbox[3]),
                 (0, 255, 0), 3)
else:
    cv2.putText(frame, "Tracking failure detected", (100, 80), cv2.FONT_HERSHEY_SIMPLEX, 0.75,
                          (0, 0, 255), 2)

其他的还有简单的通过opencv完成增加了一些跟丢和跟上的提示字符，然后重新写了一下上述siamrpnlt_tracker.py，在字典里都添加了两个参数报告出来，给demo用，主要就是上述报跟丢的longterm_state参数，还有一个best_score参数，都是外围改动。

个人修改版github地址：
https://github.com/Hongyu-Yue/pysot_Pan-tilt

目前使用的相机是海康的一款长焦相机，不能直接通过cv2调用，需要调用驱动，程序里也增加了相机调用的模块。
这部分代码位置：photodrive/hikrobot.py

以及程序里增加了云台相机的控制代码，主要是通过候选框的位置实时控制云台转动，让相机能够实时跟踪。
这部分代码位置：photodrive/ytcrol.py

五、避坑

ModuleNotFoundError: No module named ‘pysot’

解决方案：

Linux下：

export PYTHONPATH=path/to/pysot

Windows下，使用作者推荐的 set PYTHONPATH=path/to/pysot无效，根据下链接的博客找到解决方案如下：

python exporttest.py --path D:\projectPy\Track\pysot-master

参考了如下链接
https://blog.csdn.net/sans_yyb/article/details/117222311