评价指标可以将不同算法的性能量化,在算法评估和对比中起着非常重要的作用
在传统的多目标算法中,常用的评价指标有IGD
和HV
,它们只能衡量种群在目标空间的分布情况,对于多模态多目标而言,即使目标空间的分布性能良好,决策空间的性质也可能很差。
多模态多目标算法评价指标的性质
- 能反映决策空间的多样性、收敛性、覆盖率;
- 能反映目标空间的多样性、收敛性、覆盖率;
- 有合理的量化范围;
- 能用以比较不同算法解决多模态多目标优化问题的能力
IGDX(衡量PS与真实PS之间的接近程度)
令
P
∗
P^*
P∗代表真实PS均匀分布的点集(参考点),O代表算法求得的解集,IGDX的计算公式:
I
G
D
X
(
O
,
P
∗
)
=
Σ
v
∈
P
∗
d
(
v
,
O
)
∣
P
∗
∣
IGDX(O,P^*)=\frac{\Sigma_{v\in P^*}d(v,O)}{|P^*|}
IGDX(O,P∗)=∣P∗∣Σv∈P∗d(v,O)
其中
d
(
v
,
O
)
d(v,O)
d(v,O)表示
v
v
v和
O
O
O中所有点之间欧式距离的最小值,
∣
P
∗
∣
|P^*|
∣P∗∣表示参考点的数目。
如果参考点集能够很好的表示真实PS,那么IGDX 就能较好的衡量决策空间的收敛性和多样性. IGDX 的值越小,说明算法求得的解集和参考点集越接近
- 注:代码请参考这篇博客集成在PlatEMOv2.9上的IGDX代码
PSP(Pareto Sets Proximity)反映了得到的PSs与真实PSs之间的相似性
P S P = C R I G D X PSP=\frac{CR}{IGDX} PSP=IGDXCR
其中 C R CR CR为覆盖率, I G D X IGDX IGDX为决策空间的反转世代距离。
CR公式如下:
(
∏
i
=
0
n
σ
l
)
1
/
2
n
\left(\prod \limits_{i=0}^n\sigma_l\right)^{1/2n}
(i=0∏nσl)1/2n
- 其中
σ
l
\sigma_l
σl 如下:
σ l { 1 V l m a x = V l m i n 0 v l m i n ≥ V l m a x ∣ ∣ v l m a x ≤ V l m i n ( m i n ( v l m a x , V l m a x ) − m a x ( v l m i n , V l m i n ) V l m a x − V l m a x ) 2 o t h e r w i s e \sigma_l \begin{cases} 1 &V_l^{max}=V_l^{min}\\ 0 &v_l^{min}\ge V_l^{max}\left|\right|v_l^{max}\le V_l^{min}\\ \left(\frac{min(v_l^{max},V_l^{max})-max(v_l^{min},V_l^{min})}{V_l^{max}-V_l^{max}} \right)^2 & otherwise \end{cases} σl⎩⎪⎪⎨⎪⎪⎧10(Vlmax−Vlmaxmin(vlmax,Vlmax)−max(vlmin,Vlmin))2Vlmax=Vlminvlmin≥Vlmax∣∣vlmax≤Vlminotherwise
在这个式中式中 n n n为决策空间的维数; v l m a x v_l^{max} vlmax和 v l m i n v_l^{min} vlmin分别为第 l l l个变量得到的 P S PS PS的最大值和最小值; V l m a x V_l^{max} Vlmax和 V l m i n V_l^{min} Vlmin是第 l l l个变量的真 P S PS PS的最大值和最小值。
PSP不仅能反映得到PS的收敛性,还能表示真PS与得到PS的重叠率。更大的PSP值是可取的。
- 注:代码请参考这篇博客集成在PlatEMOv2.9上的PSP代码
1 P S P \frac{1}{PSP} PSP1
1 P S P = I G D X C R \frac{1}{PSP}=\frac{IGDX}{CR} PSP1=CRIGDX
-
1 P S P \frac{1}{PSP} PSP1 是 P S P PSP PSP的改进的评价指标,这是因为 P S P PSP PSP的最优值为无穷大,根据指标值无法判断算法求得解集和最优解集的差距,于是Yue et al. 在A novel scalable test problem suite for multimodal multiobjective optimization 中,将 P S P PSP PSP改成 1 P S P \frac{1}{PSP} PSP1这样评价指标 1 P S P \frac{1}{PSP} PSP1的最优值变为零,指标值越接近零说明算法性能越好. 1 P S P \frac{1}{PSP} PSP1的计算方法如公式(4). 它既能反映算法求得解集对真实 P S PS PS的覆盖率,又能反映它们之间的接近程度.
-
1 P S P \frac{1}{PSP} PSP1越小说明算法求得的解集与真实解集越接近,且算法求得的解集对真实解的覆盖率越大。 1 P S P \frac{1}{PSP} PSP1也只能反应决策空间的性质。