普通同学的解法
- 无约束条件:求导就可以了
- 等式约束:代入消元,再求导
- 不等式约束:分情况讨论(在边界上和不在边界上),分别对应1,2的情况
然而发现,有些情况消元特别复杂,甚至不能求解
聪明同学的解法
发现:在最优点的情况下,约束曲面的法向量和目标函数的梯度反向必相同或相反
拉格朗日乘子法如何理解? (在2维里可以形象的解释为z=f(x,y)在约束条件g(x,y)=c中,极值为等高线f(x,y)=k与g(x,y)=c相切的时候)
于是就有了方程: ▽f(x*)+λ▽h(x*)=0
联合这个方程和h(x)=0,在某些情况比繁琐的消元好多了,至少能求解
天才同学的解法(拉格朗日乘子法)
天才可不仅仅停留在方程求解,发现了梯度之间的关系,就可以建立新的函数(拉格朗日函数)