等式约束_最优化导论(Machine Learning)仅含等式约束的优化问题

Day 9

初探优化中的拉格朗日问题

关于本节所引用的具体定义请参考之前博文：

最优化导论(Machine Learning)集合约束和无约束优化问题的基础数学原理及公式

最优化导论(Machine Learning)机器学习中所用的基础数学公式总结

感冒好了，鼻炎又犯了唉......    再难受也不拖更......

有约束非线性优化问题之仅含等式约束的优化问题

形如minimize f(x)

            subject to(s.t)    hi(x) = 0, i=1~m

                                        gi(x) <= 0, j=1~p

的该类有约束非线性优化问题的求解方法，其中，x ∈ Rn, f:Rn -> R, hi:Rn -> R, gi: Rn -> R, m < n 利用向量进行表示，可写为如下所示的标准型

            minimize f(x)

            subject to(s.t) h(x) = 0

                                     g(x) <= 0

其中, h: Rn -> Rm, g: Rn -> Rp, 可按照与线性规划类似的方法，定义非线性有约束优化问题的可行点和可行集合

[定义]:满足所有约束条件的点称为可行点，所有可行点组成的集合{x∈Rn: h(x)=0, g(x)<=0}称为可行集 之前提到过，可不失一般性只考虑极小化目标函数的情况，这是因为，极大化问题可以轻易转化为极小化问题

maximize f(x) = minimize -f(x)

问题描述，讨论形如 minimize f(x) subject to(s.t) h(x)=0 一类的优化问题，其中x∈Rn, f:Rn -> R, h:Rn -> Rm, h=[h1, ......, hm]T, m<=n 假定函数h连续可微，即h∈C1。引入如下定理

[定理]: 对于满足约束h1(x*)=0, ......, hm(x*)=0的点x*。如果梯度向量▽h1(x*), ......, ▽hm(x*)是线性无关的，则称点x*为该约束的一个正则点

[即，满足所有约束函数情况下的x*点(h?(x*)=0时) 各个约束函数的梯度 即一阶导数向量[▽h1(x*), ......, ▽hm(x*)]T不可用有限个的其他向量的线性组合所表示出来就是(线性无关)，该点x*唯一，只能表示它自身，所以x*为在该约束上的正则点]

令Dh(x*)为向量h=[h1, h2, ......, hm]T在x*处的雅可比矩阵:

Dh(x*) = [Dh1(x*), Dh2(x*), ......, Dhm(x*)] = [▽h1(x*)T, ▽h2(x*)T, ......, ▽hm(x*)]T

则,当且仅当 rank Dh(x*) = m(即,雅可比矩阵满秩)时,x*是正则点

线性约束的集合h1(x)=0, ......, hm(x)=0, hi:Rn -> R定义的是一个曲面，S={x∈Rn: h1(x)=0, ......, hm(x)=0}如果S上的所有点都是正则点，那么曲面S的维数为n-m

原书典型例题:(优化问题的图解法求解，实际就是在二维坐标系内划分满足约束函数条件的阴影范围)

例题2：令n=3, m=2, 如果S中的所有点都是正则点，那么S是一个一维对象(即R3空间中的一条曲线)

例如，h1(x)=x1, h2(x)=x2-x3^2 则有▽h1(x)=[1,0,0]T, ▽h2(x)=[0,1,-2x3]T可以看出向量▽h1(x), ▽h