Detection AND Tracking 评价指标

期望的模型：

速度快，内存小，精度高

Detection 评价指标

精度指标：

• MAP 平均准确度均值

速度指标：
速度评价指标必须在同一个硬件上进行。

• FPS ：
  frames per second 帧率
  每秒处理的图片数量或处理每张图片所需的时间（同一硬件下比较）
  影响因素：模型参数量 ，激活函数，损失函数
• FLOPS：
  floating point operations per second.每秒运算浮点数代表着硬件性能
• FLOPs：
  计算量，可以用来衡量算法/模型的复杂度。

理解：
FLOPs：floating point operations 指的是浮点运算次数，理解为计算量，可以用来衡量算法/模型的复杂度。此处区分一下FLOPS（全部大写），FLOPS指的是每秒运算的浮点数，理解为计算速度，衡量一个硬件的标准。我们要的是衡量模型的复杂度的指标，所以选择FLOPs。
每张图片FLOPs是不同的，所以同一硬件处理相同图片所需的FLOPS越小，相同时间内就能处理更多的图片，速度也就越快

• mAP：mean Average Precision ，各类别AP的平均值。数据集中所有类别AP值的平均值
• AP：PR曲线下的面积
• PR：precision-recall曲线
• Precision：TP/TP+FP
• Recall：TP/(TP+FN)
  P=TP/TP+FP
  R=TP/TP+FN

理解：
mAP是针对整个数据集而言的
AP针对数据集中某一个类别而言的
P和R是针对单张图片预测某一类别的

MOT问题评价指标

原则：

• 所有出现的目标都要及时能够找到；
• 目标位置要尽可能与真实目标位置一致；
• 每个目标都应该被分配一个独一无二的 ID，并且该目标分配的这个 ID 在整个序列中保持不变。

Accuracy：

• 准确度。用误差来表示。不是错误的占比。

Presicion：

• 对的是对的的概率

MOTA：

• 多目标跟踪准确度 (Multiple Object Tracking Accuracy, MOTA) 。
• 衡量单摄像头多目标跟踪准确度的一个指标

MOTP：

• 多目标跟踪精确度 (Multiple Object Tracking Precision, MOTP)
• 衡量单摄像头多目标跟踪位置误差的一个指标

“准确度指在一定实验条件下多次测定的平均值与真值相符合的程度,以误差来表示。它用来表示系统误差的大小。 精确度指被测量的测得值之间的一致程度以及与其“真值”的接近程度,即是精密度和正确度的综合概念。

一些概念

• SOTA : state-of-the-art

• SOTA-modle:在该项研究任务中，最好/最先进的模型。

• SOTA-result:在该项任务中，目前最好的模型的结果/表现/性能。

• pipeline和baseline是什么？
  pipeline和baseline是什么？
  baseline:
  基础模型，可以实现数据预处理，基础的特征工程、模型建立以及结果输出与评价，然后通过深入进行数据处理，特征提取，模型调参或融合，使得baseline可以提升.相当于一个基础模型，可以以此为基准来比较对模型的改进是否有效。
  pipeline：
  数据读取\数据预处理\创建模型\模型评估结果\模型调参.
  管道机制在机器学习算法中得以应用的根源在于，参数集在新数据集（比如测试集）上的重复使用。

• IOU：交并比。bbox GT重叠度
  NMS：（Non-Maximum Suppression，NMS）非极大值抑制。顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索，抑制分数低的窗口 。
  IOU + NMS:靠分类器得到多个候选框，以及关于候选框中属于类别的概率值,选取一个概率最大框，通过将IOU作为阈值，合并一些框, 迭代此过程。

多目标跟踪算法（MOT）评价指标
多目标跟踪评价指标