benchmark和baseline的区别和联系

baseline: a standard measurement or fact against which other measurements or facts are compared, especially in medicine or science.

benchmark: something that is used as a standard by which other things can be judged or measured.

简单的说：baseline是比较算法好坏中作为“参照物”而存在的，在比较中作为基线；benchmark本身是评价算法好坏的一种规则和标准。baseline的目的是比较提出算法的性能或者用以彰显所提出的算法的优势。

此外，再说一下Ablation study/experiment:

      为了研究模型中所提出的一些结构是否有效而设计的实验，比如在一个神经网络中提出一种新的结构，但为了确定这个结构是否有利于最终的效果，我们需要将去掉该结构的网络和加上该结构的网络所得的结果进行对比，这就需要设计ablation study/experiment。

奥卡姆剃刀法则告诉我们，简单和复杂的方法能达到同样的效果，那简单的方法更可靠。

所以我们在设计网络结构时只是增加结构的复杂度而不能带来性能的提升是没有意义的！

还有一个 词经常用到：ground truth

在机器学习中ground truth表示有监督学习的训练集的分类准确性，用于证明或者推翻某个假设。有监督的机器学习会对训练数据打标记，试想一下如果训练标记错误，那么将会对测试数据的预测产生影响，因此这里将那些正确打标记的数据成为ground truth。