【文献笔记】Large Language Models as Evolutionary Optimizers-CSDN博客

本文链接：https://blog.csdn.net/weixin_45742947/article/details/147096242

Large Language Models as Evolutionary Optimizers

标题翻译：大语言模型作为进化优化器

1. 研究内容

文章中提出了一个基于LLM（GPT-3.5 API chat-turbo-0613）的进化算法（LMEA），用于解决经典的旅行商（TSP）问题。LLM在这里的作用是通过提示（prompt）进行父代选择、交叉和变异操作，这构成了进化优化的核心部分。将llm改进的算法与求解器的最优解比较。
代码链接

2. 研究方法

2.1. 算法核心框架

用LLM执行进化过程中的选择、交叉和变异操作，而无需进行额外的模型训练或依赖大量领域知识。
算法1

随机初始化种群P，包含N个解
开始迭代，直到达到最大代数G：
    构建一个prompt描述优化问题T和当前种群的状态
    使用LLM根据提示生成后代解P'
    将当前种群P和新生成的种群P'合并
    从合并的种群中选择表现最好的N 个解组成新的种群P
    自适应调整LLM的温度参数（用于控制生成解的随机性）
当代数达到G返回种群中的最佳解s∗

2.2. prompt构建

框架图

整个过程的提示词包含以下三个部分：

问题描述及解的属性：明确问题的描述和期望解的性质。例如，在TSP问题中，问题描述可以包括节点的坐标，解的属性可以描述路径需要遍历所有节点且路径长度尽量短。
上下文示例：提供一些种群中已有的解及其适应度值作为示例，以便LLM在生成新的解时能够参考这些解的结构。
任务指令：明确要求LLM进行父代选择、交叉和变异操作，并生成新的后代解。

2.3. LLM作为进化算子

不直接通过编程实现传统的进化操作（如交叉和变异），而是通过提示自然语言指令选择父代并生成后代（减少对领域知识的依赖）。

整个过程通过以下几步完成：

选择父代：根据提示，LLM从当前种群中选择父代解进行交叉和变异。
生成后代解：LLM生成的提示指令中要求其根据选择的父代生成新的解，作为后代解。解的生成是通过LLM的推理和生成能力完成的。
（N = 16，种群的大小为16，这意味着在每一代中，LMEA算法会保留16个解，G = 250 表示算法的最大迭代次数为250代。也就是说算法最大会探索4000个候选解）。

自适应温度调整
在LMEA中，温度控制被用来在进化过程中平衡探索（exploration）和开发（exploitation）。高温度值可以使LLM更具探索性，生成更具多样性的解；低温度值则使解更具确定性。LMEA采用了一种自适应机制，如果连续K代没有找到比当前最优解更好的解，温度就会略微增加以增加多样性。（文中设置K = 20 和 α = 0.1）。

3. 实验

3.1. 实验设置

生成了不同规模的EUC-2D旅行商问题实例（节点分布在二维平面上，每个节点都有一个二维坐标，距离度量使用欧几里得距离）

使用了两种生成器来生成不同的TSP实例：

portgen生成器：rue实例，节点随机且均匀分布在二维平面上。
portcgen生成器：clu实例，节点分布在若干中心点周围，形成簇状分布。

对于每种生成器，生成了四种不同节点数量的TSP问题（10个节点、15个节点、20个节点和25个节点）。每种组合下生成了5个TSP实例，最终总共生成了40个TSP实例。

为了评估算法的性能，作者使用了求解器Concorde来获得这些TSP问题实例的最优解，利用最优性差距(optimality gap)作为评估指标。

optimality gap计算方式

3.2. Baseline算法

最近邻算法（NN）:随机选择一个节点作为起点，之后每一步选择当前节点最近的未访问节点，直到遍历所有节点。
最远/最近/随机插入算法（FI/NI/RI）：在每一步中，选择一个节点并将其插入到当前路径的最优位置（对于插入节点k，相邻节点对ij，使cost c(k) = d_ik+d_kj−d_ij最小）。三种不同的变体分别选择最远、最近或随机的节点进行插入。
基于LLM的优化方法OPRO（Optimization by PROmpting）：它和LMEA的不同在于OPRO不使用LLM来执行交叉和变异操作（不是利用进化算法的框架），而是直接通过LLM生成新解。它们之间的比较可以验证 LLM 驱动的遗传运算的有效性。