#今日论文推荐# ECCV 2022 | 计算机视觉中的长尾分布问题还值得做吗？

#今日论文推荐# ECCV 2022 | 计算机视觉中的长尾分布问题还值得做吗？

先说暴论：如果只考虑训练集与测试集独立同分布（IID）且长尾分布仅体现在类间分布的情况下，Google 的 Logit Adjustment [1] 研究已经从理论上提供了非常优雅的最优解了。也就是说，计算机视觉中传统的 Long-tailed Classification 设定其实早就已经被“完美”解决了。那么这就带来了两个问题：1）长尾分类领域最近的“进展”到底提升的是什么？2）长尾分布相关的问题后续还能不能做？该怎么做？
1.1 一种优雅的IID类间长尾分类问题的建模方式
首先，让我们解释下为什么我认为 IID 情况下的类间长尾分布问题已经被完美解决了。基于 Logit Adjustment [1] 文中的分析，分类问题的概率模型 可以通过贝叶斯分解为如下形式 。那么在训练集与测试集独立同分布（IID）的情况下，我们自然而然可以得到如下的假设：，也就是说对于分类模型 ，唯一的类别 bias 来自 中的第二项 。那么问题就简单了，我们可以直接通过 来将类别分布从训练分布更改为测试分布，而由于传统长尾分类任务中默认测试分布为均衡分布，那么就可以去掉最后一项 ，因为在分类的 logits 上加上一个常数项并不会改变最后分类结果。由此，我们就实现了理论上的对 IID 类间长尾分布的最优解。而上述 的形式也可以理解为优化Point-wise Mutual Information：，这个优雅的理解方式来自于苏剑林大佬的文章《通过互信息思想来缓解类别不平衡问题》，非常推荐大家读一下。

1.2 长尾分类领域最近的“进展”到底提升的是什么？
那么，让我们先来尝试回答一下第一个问题。近年来随着一些基于 Ensemble 的 backbone 在长尾分布问题上的应用，其实我们不难发现，目前的趋势是在利用更加通用高效的特征提取方式来提升长尾分类的效果。也就是说是在提升 ，即找到更好的更鲁棒的和类别对应的特征。但这些通用的方式之所以通用，也是因为他们其实并不能算作长尾分布的算法。这其实就是目前计算机视觉中的长尾分布问题的困境：传统的分布矫正思路已经渐渐走到了尽头，而新的特征学习方法又缺少理论支撑。不过如果读完下文其实就可以发现，近来的特征学习算法大部分确实也是在解决数据不均衡的问题，但并不是解决类间偏见，而是解决类内的属性偏见。比如 multi-expert backbone 就可以通过 ensemble 缓解单个特征空间学到的领域偏见，得到更鲁棒的特征。
1.3 长尾分布相关问题的后续研究还能不能做？该怎么做？
那么，让我们先来尝试回答一下第一个问题。近年来随着一些基于 Ensemble 的 backbone 在长尾分布问题上的应用，其实我们不难发现，目前的趋势是在利用更加通用高效的特征提取方式来提升长尾分类的效果。也就是说是在提升 ，即找到更好的更鲁棒的和类别对应的特征。但这些通用的方式之所以通用，也是因为他们其实并不能算作长尾分布的算法。这其实就是目前计算机视觉中的长尾分布问题的困境：传统的分布矫正思路已经渐渐走到了尽头，而新的特征学习方法又缺少理论支撑。其实计算机视觉中的长尾分布问题还是可以做的。至于做的方向就来自于传统长尾分类任务对问题的过度简化。
其一：并不是所有视觉任务都可以简单建模为 。大多数多模态任务中的长尾分布会更加复杂，比如视觉问答 VQA 数据中的长尾分布既有整体答案的 分布，同时又有基于输入问题 的条件长尾 ，即给定特定问题类型，答案呈现长尾分布（如面对问运动的问题时，答案“网球”成为了明显的常见主导类），而实际训练中后者的影响反而比单纯的全局分布 更明显。所以如何在更加复杂的多模态任务中解决长尾分布会比单纯分类问题下的长尾分布更有生命力。其二：工业界真正头疼的长尾分布问题其实并不全是学术界研究的最多的类间长尾。比如当说到无人车训练数据中的长尾分布时，大多数情况下这指代的其实并不是类间长尾。像长尾的天气分布，日夜分布等，并不是模型预测的目标，因此这里长尾的不是类别，而是属性（或者说context）。是这种类内的长尾（intra-class long tail）阻碍了机器学习的进一步在工业界落地，而非类间长尾（inter-class long tail），前者远比后者难得多。所以，如何给出更好的长尾问题的新设定也是个值得研究的方向。比如我即将要说的广义长尾分类（Generalized Long-tailed Classification [2]），或者其他研究者的任意测试分布下的长尾算法（Test-Agnostic Long-Tailed Recognition [3]），还有近来一些把类间长尾分类和领域泛化（Domain Generalization）结合的工作 [4] 等等。

论文题目：Invariant Feature Learning for Generalized Long-Tailed Classification
详细解读：https://www.aminer.cn/research_report/62f268827cb68b460fff49fahttps://www.aminer.cn/research_report/62f268827cb68b460fff49fa
AMiner链接：https://www.aminer.cn/?f=cs