克里金代理模型Kriging

Kriging笔记_代理模型

由于 Kriging 模型不仅能对未知点的适应值进行预测，还能对其预测的不确定性进行估计。因此，其被广泛应用于代理模型辅助进化算法中，以解决昂贵单目标或多目标优化问题。使用下面的公式来估计未知点 x 的适应值：(均值+正态分布求解适应度值)$$y(x)=\mu +\epsilon (x)$$

μ 是随机过程的均值；ε(x)是均值为零和方差为 σ 2 的正态分布(N (0; σ 2 ))。x 有 d 个变量，x=(x1,…,xd)。对于 d 维空间中的任何 x 和 x’，r[ε(x), ε(x’)]是ε(x) 和 ε(x’)之间的相关函数。$$r[\epsilon (x),\epsilon (x^{\prime })]=\exp (-\sum _{i=1}^d{\theta }_i|x_i-x_{i^{\prime }}{|}^{p_i})$$

式中，1≤ pi ≤2 是影响 y(x)在 x处光滑性的参数；参数 θi 可衡量 xi 对于 y(x)的重要程度(也就是每个维度的权重)。

对于 Nt 个包含输入和输出的训练数据集(X, y)，超参数 μ、σ、θ1,…, θd、p1,…,pd 可以通过最大化似然函数来求解：$$\frac{1}{{(2\pi {\sigma }^2)}^{N_{t/2}}\sqrt{\det (R)}}\exp [-\frac{{(y-\mu 1)}^{\mathrm{T}}{R}^{-1}(y-\mu 1)}{2{\sigma }^2}]$$

式中，X 是一个 Nt×d 维的输入矩阵；y 是一个 Nt×1 维的输出矩阵；R 是一个 Nt × Nt 维的相关矩阵， 1 是一个 Nt 维的单位向量。

μ 和 σ 2 的值可以通过最大化似然函数来求解:$$\hat{\mu }=\frac{1^{\mathrm{T}}{R}^{-1}y}{1^{\mathrm{T}}{R}^{-1}1}$$$${\hat{\sigma }}^2=\frac{{(\mathbf{y}-1\mu )}^{\mathrm{T}}{R}^{-1}(\mathbf{y}-1\hat{\mu })}{N_t}$$

把$\hat{\mu }$和${\hat{\sigma }}^2$带入似然函数中可以消除未知参数 μ 和 σ 2似然函数只有两个未知参数 θi 和 pi（i = 1, . . . , d）。最大化似然函数可以得到${\hat{\theta }}_i$和${\hat{p}}_i$

根据$\hat{\mu }$，${\hat{\sigma }}^2$，${\hat{\theta }}_i$，${\hat{p}}_i$可以得到未知点x的预测分布。$$\hat{y}(x)=\hat{\mu }+r^{\prime }{R}^{-1}(y-1\hat{\mu })$$$$s^2(x)={\sigma }^2[1-r^{\prime }{R}^{-1}r+\frac{{(1-1^{\prime }{R}^{-1}r)}^2}{1^{\prime }{R}^{-1}1}]$$

式中，$\hat{y}$和 s 2 是未知点的 x 的预测适应值和预测方差(也就是与测试和相关程度)。