pareto最优解程序_NIPS 2018：作为多目标优化的多任务学习：寻找帕累托最优解

多任务学习本质上是一个多目标问题，因为不同任务之间可能产生冲突，需要对其进行取舍。本文明确将多任务学习视为多目标优化问题，以寻求帕累托最优解。而经过实验证明，本文提出的方法可以在现实假设下得到帕累托最优解。

统计学中最令人震惊的结论之一是 Stein 悖论。Stein(1956)认为，若要估计高斯随机变量，最好是从所有样本中估计三个或三个以上变量的均值，而不是分别单独进行估计，即使这些高斯分布是相互独立的。Stein 悖论是探索多任务学习(MTL)(Caruana，1997)的早期动机。多任务学习是一种学习范式，其中来自多任务的数据被用来获得优于独立学习每个任务的性能。MTL 的潜在优势超出了 Stein 悖论的直接含义，因为即便是真实世界中看似无关的任务也因数据共享的过程而存在很强的依赖性。例如，尽管自动驾驶和目标操纵看似无关，但相同的光学规律、材料属性以及动力学都对基础数据产生了影响。这启发人们在学习系统中使用多任务作为归纳偏好。

典型的 MTL 系统被给定一组输入点和每点各种任务的目标集。设置跨任务的归纳偏好的常用方法是设计一个参数化假设类，它会在不同任务中共享一些参数。一般而言，可以通过为每个任务最小化经验风险的加权和这种优化问题来学习这些参数。但是，只有当一个参数组在所有任务中都有效时，这样的线性组合公式才有意义。换言之，只有当任务之间不存在竞争关系时，最小化经验风险的加权和才有效，但这种情况比较少有。目标冲突的 MTL 需要对任务之间的权衡进行模型，但这已经超出了线性组合能够实现的范围。

MTL 的另一个目标是找到不受任何其它方案主导的解决方案。据说这种方案就是帕累托最优(Pareto optimal)。本文从寻找帕累托最优解的角度出发探寻 MTL 的目标。

在给定多个标准的情况下，寻找帕累托最优解的问题也被称为