理解拉格朗日乘子法

在学习svm（支持向量机）的时候有遇到这个概念，所有在这里对拉格朗日乘子法来做一下解释。

预备知识

偏导

对于一个函数$z=f(x，y)$而言考虑在某个点，x，y对z单独的影响，引入了偏导的概念。偏导描述的是独立变量单独对函数值产生的影响，偏导的几何意义可以是 目标变量（假定为x）和z组成的平面中在x处的切线斜率。

简单可以提一下求导的一些方法：

• 在括号里面的是认定独立的变量，求导的时候对其中一个求偏导，其他的度量变量看作是常数
• 很多时候函数没办法处理成显函数，而是一个具有某个关系的隐含数。隐含数求导的公式：对于一隐含数$F(x,y,z)=0$求$\frac{\delta y}{\delta x}$ 在目标公式中，认为y是因变量，其实就默认了我们讨论的是$y(x,z)$这个式子。所以直接算的话：$\frac{\delta F}{\delta x}$ +$\frac{\delta F}{\delta y}$ $\frac{\delta y}{\delta x}=0$ （z和x独立，y和x有关;凑出$\frac{\delta y}{\delta x}$）。因为是函数，左右两边具有统一性，认为是对左右两边同时求导。最后便可以整理成目标$\frac{\delta y}{\delta x}$ = - $\frac{F_x}{F_y}$
• 小发现：曲面方程和隐含数的方程是一样的，数学特性一样但是数学意义不一样。一个是几何概念，一个默认了哪些是自变量哪个是因变量，是代数的概念，集合上而言就是把某个维度专门作为映射的结果，其他维度作为映射的输入了。

极值以及闭式解

驻点和不可导点

驻点是导数为0。极值会在驻点出现。驻点处不一定有极值，需要做一些数学上的判断。以$F=z(x,y)$为例，$A=F_{xx}$,$B=F_{xy}$,$C=F_{yy}$。
验证 $AC-B^2$
如果>0 ，A>0，有极小值;A<0，有极大值
= 0，不确定，类似于鞍部
< 0，无极值

条件极值

剖析这个提设，会发现条件极值有两个部分，一个是条件，一个是极值（函数）。
所有条件极值的概念很好理解，就是在条件下的函数的极值。（以下的描述方便于理解，选择可以可视化 的3维内）
函数$z=f(x,y)$
条件$g(x,y)=0$