ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 使用强化学习解决tsp问题（二）强化学习背景知识

本文主要结合两篇文献，第一篇是2017年Google brain团队Irwan Bello∗, Hieu Pham∗, Quoc V. Le, Mohammad Norouzi, Samy Bengio在ICLR上发表的NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING一文。第二篇是Hanjun Dai∗, Elias B. Khalil∗, Yuyu Zhang†, Bistra Dilkina, Le Song在2018年发表的Learning Combinatorial Optimization Algorithms over Graphs一文。

• NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING

• 这篇文章开篇提到了TSP的一个难题，即在实际应用中，TSP solvers大多使用人为的启发式去知道搜索过程，尽管这些启发式可以在TSP问题上表现的很好，但是一旦problem statement有轻微改变，之前定义的启发式就不好使了。这篇文章运用了机器学习的算法去开发了一个通用框架（neural combinatorial optimization），通过在训练集上自适应寻找启发式去解决多个优化问题，在TSP问题上最多100个点。
• 因为传统的监督学习不适用于组合优化的问题，团队采用了强化学习的算法，可以把强化学习中基于特定action对应的reward当作监督学习中的标签。
• 使用pointer network的架构
• 深度学习中的actor critic

• Learning Combinatorial Optimization Algorithms over Graphs

• 介绍Q-learning

• 要解决的问题：In this paper, we addr