SOTA 很重要，但也不重要

大模型好多，但一般来说你只需要关注那些被打上SOTA标签的模型，SOTA（State of the Art) 就是最前沿、当前最佳的意思，简单说就是“好牛”。

 

但吹牛是没用的，机器学习领域有一系列公认的方法来评估模型的先进性。

 

例如，要判断看图聊天的模型是否是SOTA，方法是给图中的11个任务类别和28个数据集里的每个任务制定一个10-15个不同的指令模板，然后和其它的同类SOTA模型做一些比较，这就像在固定赛道赛马一样，结果通常需要在Paper里体现。这一切应该是始于2010年的 Imagenet。

 

 

然而，SOTA很重要，但有时也不重要。如果一个模型通过一些新的观念和方法给人们带来巨大的启发，那么测试结果哪怕不是当前最佳也是一个好模型。

 

最近华人发布的开源模型 InstructBLIP 就在多项看图聊天的 SOTA上领跑，有些还要强于GPT4：https://arxiv.org/pdf/2305.06500.pdf