【论文阅读术语】benchmark、baseline、backbone、ground truth

【最基础术语一】benchmark、baseline、backbone、ground truth

1. benchmark
benchmark是一种评价方式，其指的是一个过程。具体来说就是针对不同Model的性能测试过程。
对于benchmark过程，有三个步骤：
设置：这部分我们最常听到的就是数据集，说白了就是输入。
数据又分为结构化数据、半结构化数据和非结构化数据。其中非结构化数据包含各种文档、图片、视频和音频等。典型的应用有视频网站、图片相册、交通视频监控等等。
执行：对于自己提出的模型/算法进行试验。
分析度量指标：
常用的指标：
（1）从架构角度度量：浮点型操作密度、整数型操作密度、指令中断、cache命中率、TLB命中；
（2） 从Spark系统执行时间和吞吐的角度度量：Job作业执行时间、Job吞吐量、Stage执行时间、Stage吞吐量、Task执行时间、Task吞吐量；
（3） 从Spark系统资源利用率的角度度量：CPU在指定时间段的利用率、内存在指定时间段的利用率、磁盘在指定时间段的利用率、网络带宽在指定时间段的利用率；
（4）从扩展性的角度度量：数据量扩展、集群节点数据扩展（scale out）、单机性能扩展（scale up）。

2. baseline
在benchmark的第二步中应用最原始的模型得到的度量指标就是baseline，这是一个基准。之后我们所有的改进都需要跟这个基准来比较。

3. backbone
backbone是指模型采用的主干架构，如vggnet，resnet，inception等。

4. groundtruth
groundtruth:真值,针对不同的方向，真值所指代的具体内容是不同的，不过都可以理解为我们人工给定的标签。对于针对人的目标检测而言，真值代表的是数据集给定的人工标定框；而对于行为/视频分类而言，真值代表的是动作或视频的实际对应类别。总之就是实际给定的y值。

度量指标部分转载自
https://zyc88.blog.csdn.net/article/details/78610338