CMA-ES算法流程

CMA-ES算法流程

对多元高斯分布进行采样得到新解，使用其中较好的解更新高斯分布的参数，最大熵原理(均值和方差已知时，高斯分布具有的信息熵最大，正因为如此高斯分布在自然界中才会这么普遍)。

1 产生新解

$$x_k^{(g+1)}\sim m^{(g)}+{\sigma }^{(g)}N(0,C^{(g)})fork=1,...,\lambda \text{\hspace{1em}(1)}$$

$\sim$表示左右服从相同分布。

$N(0,C^{(g)})$表示均值为$0$，协方差矩阵为$C^{(g)}$的正态分布，$m^{(g)}+{\sigma }^{(g)}N(0,C^{(g)})\sim N(m^{(g)},({\sigma }^{(g)}{)}^2{C}^{(g)})$。

$x_k^{(g+1)}\in R^n$，第$g+1$代的第$k$个后代。

$m^{(g)}\in R^n$，第$g$代搜索分布的均值。

${\sigma }^{(g)}\in R_{>0}$，第$g$代的步长。

$C^{(g)}\in R^{n\times n}$，第$g$代的协方差矩阵。

$\lambda \ge 0$，抽样数量，子代数量。

为了定义完整的算法步骤，剩下的问题是如何计算$m^{(g+1)}$，$C^{(g+1)}$和${\sigma }^{(g+1)}$。

2 更新均值

$m^{(g+1)}$是从$x_1^{(g+1)},...,x_{\lambda }^{(g+1)}$中选择的$\mu$个样本的带权均值：
$$m^{(g+1)}=\sum _{i=1}^{\mu }{w}_i{x}_{i:\lambda }^{(g+1)}\text{\hspace{1em}(2)}$$

$$\sum _{i=1}^{\mu }{w}_i=1,w_1\ge w_2\ge ...\ge w_{\mu }>0\text{\hspace{1em}(3)}$$

$\mu \le \lambda$，父样本的大小和选择的样本的大小。

$w_{i=1...\mu }\in R_{>0}$，正权值。

$x_{i:\lambda }^{(g+1)}$，$x_1^{(g+1)},\cdots ,x_{\lambda }^{(g+1)}$中第$i$个最好的个体，$f(x_{1:\lambda }^{(g+1)})\le f(x_{2:\lambda }^{(g+1)})\le \cdots \le f(x_{\lambda :\lambda }^{(g+1)})$。

等式(2)通过使$\mu <\lambda$实现截断选择，具有不同的权值是一种选择机制。
$${\mu }_{eff}=(\frac{\mid \mid w\mid {\mid }_1}{\mid \mid w\mid {\mid }_2}{)}^2=\frac{\mid \mid w\mid {\mid }_1^2}{\mid \mid w\mid {\mid }_2^2}=\frac{({\sum }_{i=1}^{\mu }\mid w_i\mid {)}^2}{{\sum }_{i=1}^{\mu }{w}_i^2}=\frac{1}{{\sum }_{i=1}^{\mu }{w}_i^2}\text{\hspace{1em}(4)}$$
可以被理解为方差有效选择质量，可以看出$1\le {\mu }_{eff}\le \mu$并且当权值相同时${\mu }_{eff}=\mu$，通常${\mu }_{eff}\approx \lambda /4$时表示$w_i$的设置是合理的，一个简单且合理的设置是$w_i\propto u-i+1$，并且$\mu \approx \lambda /2$。

最终的公式如下所示：
$$m^{(g+1)}=m^{(g)}+c_m\sum _{i=1}^{\mu }{w}_i(x_{i:\lambda }^{(g+1)}-m^{(g)})\text{\hspace{1em}(5)}$$
$c_m\le 1$表示学习率，通常取1。

公式(5)是公式(2)的一般化，$c_m{\sum }_{i=1}^{\mu }{w}_i=1$是默认的参数设置，在噪声函数中选择$c_m<1$较好。

3 自适应协方差矩阵

估计协方差矩阵，使用$\mu$个被选择的样本加权计算
$$C_{\mu }^{(g+1)}=\sum _{i=1}^{\mu }{w}_i\left({\mathbf{x}}_{i:\lambda }^{(g+1)}-{\mathbf{m}}^{(g)}\right){\left({\mathbf{x}}_{i:\lambda }^{(g+1)}-{\mathbf{m}}^{(g)}\right)}^{\top }$$
$rank-\mu -Update$ ，样本服从$N(0,C^{(g)})\sim N(m^{(g)},({\sigma }^{(g)}{)}^2{C}^{(g)})$的分布，所以要除${\sigma }^{(g{)}^2}$，指数平滑，使最近的代有较高的权重，累积以前的信息，叫做$rank-\mu -Update$是因为$rank(C_{\mu }^{(g+1)})=min(\mu ,n)$
$$\begin{array}{rl}{\mathbf{C}}^{(g+1)}& =\left(1-c_{\mu }\right){\mathbf{C}}^{(g)}+c_{\mu }\frac{1}{{\sigma }^{(g{)}^2}}{\mathbf{C}}_{\mu }^{(g+1)}\\ & =\left(1-c_{\mu }\right){\mathbf{C}}^{(g)}+c_{\mu }\sum _{i=1}^{\mu }{w}_i{\mathbf{y}}_{i:\lambda }^{(g+1)}{\mathbf{y}}_{i:\lambda }^{(g+1{)}^{\top }}\end{array}$$
其中${\mathbf{C}}^{(0)}=\mathbf{I}$，${\mathbf{y}}_{i:\lambda }^{(g+1)}=\left({\mathbf{x}}_{i:\lambda }^{(g+1)}-{\mathbf{m}}^{(g)}\right)/{\sigma }^{(g)}$，$c_{\mu }\le 1$学习率。

一般化
$$\begin{array}{rl}{\mathbf{C}}^{(g+1)}& =\left(1-c_{\mu }\sum w_i\right){\mathbf{C}}^{(g)}+c_{\mu }\sum _{i=1}^{\lambda }{w}_i{\mathbf{y}}_{i:\lambda }^{(g+1)}{\mathbf{y}}_{i:\lambda }^{(g+1{)}^{\top }}\\ & ={\mathbf{C}}^{(g{)}^{1/2}}\left(\mathbf{I}+c_{\mu }\sum _{i=1}^{\lambda }{w}_i\left({\mathbf{z}}_{i:\lambda }^{(g+1)}{\mathbf{z}}_{i:\lambda }^{(g+1{)}^{\top }}-\mathbf{I}\right)\right){\mathbf{C}}^{(g{)}^{1/2}}\end{array}$$
其中${\mathbf{z}}_{i:\lambda }^{g+1}={\mathbf{C}}^{(g)-1/2}{\mathbf{y}}_{i:\lambda }^{g+1}$，${\sum }_{i=1}^{\mu }{w}_i=1$，${\sum }_{i=1}^{\lambda }{w}_i\approx 0$，$c_{\mu }\approx u_{eff}/n^2$。

$Rank-1-Update$，使上一代最好的样本出现的几率更高
$${\mathbf{C}}^{(g+1)}=\left(1-c_1\right){\mathbf{C}}^{(g)}+c_1{\mathbf{y}}_{g+1}{\mathbf{y}}_{g+1}^{\top }$$
其中${\mathbf{y}}_{g+1}=\frac{{\mathbf{x}}_{1.\lambda }^{(g+1)}-{\mathbf{m}}^{(g)}}{\sigma (g)}$。

使用进化路径累积以前的信息，指数平滑
$${\mathbf{p}}_{\mathrm{c}}^{(g+1)}=\left(1-c_{\mathrm{c}}\right){\mathbf{p}}_{\mathrm{c}}^{(g)}+\sqrt{c_{\mathrm{c}}\left(2-c_{\mathrm{c}}\right){\mu }_{\mathrm{e}\mathrm{f}\mathrm{f}}}\frac{{\mathbf{m}}^{(g+1)}-{\mathbf{m}}^{(g)}}{{\sigma }^{(g)}}$$
其中${\mathbf{p}}_{\mathrm{c}}^{(0)}=0$，$c_{\mathrm{c}}\le 1$，${\mathbf{p}}_{\mathrm{c}}^{(g+1)}\sim \mathcal{N}(0,\mathbf{C})$。
$${\mathbf{C}}^{(g+1)}=\left(1-c_1\right){\mathbf{C}}^{(g)}+c_1{\mathbf{p}}_{\mathrm{c}}^{(g+1)}{\mathbf{p}}_{\mathrm{c}}^{(g+1{)}^{\top }}$$
$c_1\approx 2/n^2$，学习率。

结合
$$\begin{array}{r}{\mathbf{C}}^{(g+1)}=\left(1-c_1-c_{\mu }\sum w_j\right){\mathbf{C}}^{(g)}+c_1{\mathbf{p}}_{\mathrm{c}}^{(g+1)}{\mathbf{p}}_{\mathrm{c}}^{(g+1{)}^{\top }}+c_{\mu }\sum _{i=1}^{\lambda }{w}_i{\mathbf{y}}_{i:\lambda }^{(g+1)}{\left({\mathbf{y}}_{i:\lambda }^{(g+1)}\right)}^{\top }\end{array}$$
其中

$c_1\approx 2/n^2$

$c_{\mu }\approx \min \left({\mu }_{\mathrm{e}\mathrm{f}\mathrm{f}}/n^2,1-c_1\right)$

${\mathbf{y}}_{i:\lambda }^{(g+1)}=\left({\mathbf{x}}_{i:\lambda }^{(g+1)}-{\mathbf{m}}^{(g)}\right)/{\sigma }^{(g)}$

$\sum w_j={\sum }_{i=1}^{\lambda }{w}_i\approx -c_1/c_{\mu }$

4 步长更新

共轭进化路径，指数平滑
$${\mathbf{p}}_{\sigma }^{(g+1)}=\left(1-c_{\sigma }\right){\mathbf{p}}_{\sigma }^{(g)}+\sqrt{c_{\sigma }\left(2-c_{\sigma }\right){\mu }_{\mathrm{e}\mathrm{f}\mathrm{f}}}{\mathbf{C}}^{(g{)}^{-\frac{1}{2}}}\frac{{\mathbf{m}}^{(g+1)}-{\mathbf{m}}^{(g)}}{{\sigma }^{(g)}}$$
其中${\mathbf{p}}_{\sigma }^{(0)}=0$，$c_{\sigma }<1$。

步长更新
$$\begin{array}{rl}\ln {\sigma }^{(g+1)}& =\ln {\sigma }^{(g)}+\frac{c_{\sigma }}{d_{\sigma }}\left(\frac{\Vert {\mathbf{p}}_{\sigma }^{(g+1)}\Vert }{\mathrm{E}\Vert \mathcal{N}(0,\mathbf{I})\Vert }-1\right)\\ {\sigma }^{(g+1)}& ={\sigma }^{(g)}\exp \left(\frac{c_{\sigma }}{d_{\sigma }}\left(\frac{\Vert {\mathbf{p}}_{\sigma }^{(g+1)}\Vert }{\mathrm{E}\Vert \mathcal{N}(0,\mathbf{I})\Vert }-1\right)\right)\end{array}$$
其中$d_{\sigma }\approx 1$，$\mathrm{E}\Vert \mathcal{N}(0,\mathbf{I})\Vert =\sqrt{2}\Gamma \left(\frac{n+1}{2}\right)/\Gamma \left(\frac{n}{2}\right)\approx \sqrt{n}+\mathcal{O}(1/n)$。