AMiner论文推荐
论文标题:Towards a Theoretical Framework of Out-of-Distribution Generalization
论文链接:https://www.aminer.cn/pub/60c2db2791e0117e30ca281e?f=cs
对非独立同分布数据的泛化问题(Out-of-distribution Generalization)是现代机器学习的核心问题之一。最近,有大量的工作提出基于提取不变特征思想的OOD算法。虽然直观上是合理的,但是对于什么样的不变性可以保证OOD泛化的理论理解仍然是有限的,并且泛化到任意的分布显然是不可能的。在这项工作中,我们对于(1)什么是OOD泛化问题(2)OOD问题什么情况下是可学习的 给出了严格的定量的定义。我们还引入了一个扩展函数的新概念,它描述了测试域的方差在训练域会被多大程度上放大,从而给出了不变特征的定量含义。在此基础上,我们证明了OOD泛化误差界。结果表明,OOD泛化在很大程度上依赖于扩展函数。正如最近有文章指出的,任何没有模型选择模块的OOD学习算法都是不完整的。我们的理论自然地引出了一个模型选择标准。在基准OOD数据集上的实验表明,我们的模型选择标准比现有方法具有显著的优势。
AMiner,让AI帮你理解科学!