Day 9
初探优化中的拉格朗日问题
关于本节所引用的具体定义请参考之前博文:
最优化导论(Machine Learning)集合约束和无约束优化问题的基础数学原理及公式
最优化导论(Machine Learning)机器学习中所用的基础数学公式总结
感冒好了,鼻炎又犯了唉...... 再难受也不拖更......
有约束非线性优化问题之仅含等式约束的优化问题
形如minimize f(x)
subject to(s.t) hi(x) = 0, i=1~m
gi(x) <= 0, j=1~p
的该类有约束非线性优化问题的求解方法,其中,x ∈ Rn, f:Rn -> R, hi:Rn -> R, gi: Rn -> R, m < n 利用向量进行表示,可写为如下所示的标准型
minimize f(x)
subject to(s.t) h(x) = 0
g(x) <= 0
其中, h: Rn -> Rm, g: Rn -> Rp, 可按照与线性规划类似的方法,定义非线性有约束优化问题的可行点和可行集合
[定义]:满足所有约束条件的点称为可行点,所有可行点组成的集合{x∈Rn: h(x)=0, g(x)<=0}称为可行集 之前提到过,可不失一般性只考虑极小化目标函数的情况,这是因为,极大化问题可以轻易转化为极小化问题
maximize f(x) = minimize -f(x)
问题描述,讨论形如 minimize f(x) subject to(s.t) h(x)=0 一类的优化问题,其中x∈Rn, f:Rn -> R, h:Rn -> Rm, h=[h1, ......, hm]T, m<=n 假定函数h连续可微,即h∈C1。引入如下定理
[定理]: 对于满足约束h1(x*)=0, ......, hm(x*)=0的点x*。如果梯度向量▽h1(x*), ......, ▽hm(x*)是线性无关的,则称点x*为该约束的一个正则点
[即,满足所有约束函数情况下的x*点(h?(x*)=0时) 各个约束函数的梯度 即一阶导数向量[▽h1(x*), ......, ▽hm(x*)]T不可用有限个的其他向量的线性组合所表示出来就是(线性无关),该点x*唯一,只能表示它自身,所以x*为在该约束上的正则点]
令Dh(x*)为向量h=[h1, h2, ......, hm]T在x*处的雅可比矩阵:
Dh(x*) = [Dh1(x*), Dh2(x*), ......, Dhm(x*)] = [▽h1(x*)T, ▽h2(x*)T, ......, ▽hm(x*)]T
则,当且仅当 rank Dh(x*) = m(即,雅可比矩阵满秩)时,x*是正则点
线性约束的集合h1(x)=0, ......, hm(x)=0, hi:Rn -> R定义的是一个曲面,S={x∈Rn: h1(x)=0, ......, hm(x)=0}如果S上的所有点都是正则点,那么曲面S的维数为n-m
原书典型例题:(优化问题的图解法求解,实际就是在二维坐标系内划分满足约束函数条件的阴影范围)
例题2:令n=3, m=2, 如果S中的所有点都是正则点,那么S是一个一维对象(即R3空间中的一条曲线)
例如,h1(x)=x1, h2(x)=x2-x3^2 则有▽h1(x)=[1,0,0]T, ▽h2(x)=[0,1,-2x3]T可以看出向量▽h1(x), ▽