1. 组合问题的解决方案采样器优化：策略梯度方法的景观

Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods. NeurIPS, 2023.

Abstract

• 深度神经网络+强化学习求解组合优化问题有成效。
• 深度神经网络被用作解决方案生成器，基于梯度训练获得更好的解决方案的分布。

本文工作：

1. 探讨是否存在生成模型，这些模型：

（1）具有足够的表达能力来生成近似最优解。
（2）具有可处理的、多项式数量级的参数。
（3）优化景观是良性的，即不包含次优静止点。

2. 引入一种新的正则化过程，用于普通的梯度下降，有助于解决梯度消失问题并逃离不良静止点。

1 Introduction

出发点：提供通用解决方案的框架。

梯度下降的两个难点：

• 良好的优化景观（梯度下降不会陷入局部最小值或梯度消失的点）
• 具有多项式数量的参数