第一次看到SOTA以为是什么厉害的模型？最新的研究方向？为什么哪里都提？！直到每个方向的一些综述论文都看到了SOTA，查阅才发现这指的不是一个模型，而是很多很多大佬的很多很多杰作的统称！综合了很多解读，总结下这三个名词的意思。
SOTA
SOTA，全称“state of the arts”，用于描述机器学习中某个领域方向当前取得最优效果的模型。例如在图像分类任务上，某个模型在常用的数据集上取得了当前最优的性能表现，就说这个模型达到了 SOTA。
SOTA model指在该领域方向研究中当前最好/最先进的模型。
SOTA result 指在该领域方向研究中当前最好的模型的结果/性能/表现。
Benchmark和baseline都是指最基础的比较对象。
论文的motivation来自于想超越现有的baseline/benchmark，实验数据都需要以baseline/benckmark为基准来判断是否有提高。
Baseline
Baseline 基线，是指作为对比的一种简单或基本的算法或模型，它被用作对新算法或模型性能的初始评估。基线模型可能是以前在该任务上表现良好的模型，可以用于任务中将自己的模型与其对照。基线模型的目标是建立一个可比较的起点，评估自己的模型与其对比下性能是否提升。
Benchmark
Benchmark 基准，是指作为参考标准的一组算法或数据集，通常是在特定任务或领域中广泛接受的准则。基准的目标是提供一个衡量算法性能的标准，以便其他算法可以与之进行比较。基准可以是一种算法、一个数据集或者是两者的结合。
benchmark通常指的是一个（标准的）衡量规定或是评估标准。具体的可以理解成，在某个标准的数据集上用某种规定的方式（进行实验）并且用某几个指标来衡量算法的性能，这样规定被称为benchmark。由于benchmark的标准化还是一个正在进行的过程，所以benchmark通常也可以粗略的理解成某个标准的数据集。
作者：知乎用户
链接：https://www.zhihu.com/question/433986039/answer/2300634881
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
引用一个比较好的举例：
NLP任务中BERT是目前的SOTA，假如你有idea可以超过BERT。那在论文中的实验部分你的方法需要比较的baseline就是BERT，而需要比较的benchmark就是BERT具体的各项技术指标。
Pipeline
Pipeline 管道，实现了从数据预处理、输入模型到模型构建、训练、评估、调参等一系列的全部步骤的流式化封装和管理。深度学习中的pipeline通常包括以下流程：
- 数据读取
- 数据预处理
- 创建模型（具体到模型也有相应的Pipeline,比如模型的具体构成部分：比如GCN+Attention+MLP的混合模型）
- 评估模型结果
- 模型调参
778
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
