罚函数法(惩罚函数法)与可行方向法是实际常用的多维度、有约束的最优化方法。
罚函数
罚函数法的思想就是将约束条件g(x),h(x)作为惩罚项加入函数f(x)中得到函数p(x,k)。例如对于
Min f(x)
s.t. hj(x) = 0 j=1,2,…m
gi(x)<= 0 i=1,2,…r
其加入罚函数后:
P(x,k)=f(x) + kj*∑(hj(x))^2 + ki*∑(gi(x))^2*u(gi(x))。
从而可将原来的有约束问题转为无约束问题进行求解,即求导数=0的点即可。
其中的k,每一个约束条件对应一个k值,当然也可以取一样的值,是事先确定的;其因为函数的不同,有意义的k取值也不同,比如f(x)的值很小时,k值取较小值也能将不满足约束条件的函数值变得较大,从而使得p(x,k)的函数值在约束外的地方的函数值都比约束内的值大,从而使得罚函数的最优值是原函数在约束条件下的最优值;而当f(x)函数值较大时,就需要将K值设置为较大值才行了。而u(gi(x)是一个0,1函数,即满足不等式约束时,u(gi(x)=0,不满足约束条件时u(gi(x)=1)
需要注意的就是使用该方法得到最优解不一定满足搜索条件,这种情况一般发生在约束条件本身就矛盾的情况下,如:
min x1^2 + x2^2
s.t. x1 + x2 - 1 = 0
x1 + x2 - 2 = 0