双目标帕累托优化_多目标优化(八): 多任务之连续帕累托解

八. 连续帕累托解

参考文献： Ma, Pingchuan, Tao Du, and Wojciech Matusik. "Efficient Continuous Pareto Exploration in Multi-Task Learning." arXiv preprint arXiv:2006.16434 (2020).

1. 主要思想

前面我们介绍了单个帕累托解和多个帕累托的求解方法，接下来我们介绍一种能够输出局部连续帕累托解，进一步构建帕累托前沿(Pareto Front)的方法[11]。分如下的两步：

• 离散帕累托求解（本文第4部分）: 给定初始点
  ，在求出一个帕累托平稳点
  后，从过点
  的平滑曲线
  切线出发，进行
  次搜索：计算搜索方向
  ，扩展出平稳点
  ；
• 连续帕累托解（前沿）构建（本文第5部分）：由初始点
  及 扩展出的平稳点集
  ，构建出连续帕累托前沿。

为表述方便，这里引用论文中关于多任务学习的定义：

设

光滑，

2. 预备知识：Krylov子空间

这一节内容参考潘建瑜老师《线性方程组迭代方法》课程，第四讲 《Krylov 子空间方法 》[12]

大规模稀疏线性方程组

求解的首选方法是Krylov 子空间方法，其基本思想是在一个维数较小的子空间

中寻找近似解.

Krylov 子空间定义： 设

,

,我们称

是由

和

生成的 Krylov 子空间， 通常简记为

。Krylov 子空间有如下的3个性质：

• Krylov 子空间嵌套性：
  ；
• 的维数不超过m；
• 为次数小于m的多项式
  。
  </