在学习svm(支持向量机)的时候有遇到这个概念,所有在这里对拉格朗日乘子法来做一下解释。
预备知识
偏导
对于一个函数 z = f ( x , y ) z = f(x,y) z=f(x,y)而言考虑在某个点,x,y对z单独的影响,引入了偏导的概念。偏导描述的是独立变量单独对函数值产生的影响,偏导的几何意义可以是 目标变量(假定为x)和z组成的平面中在x处的切线斜率。
简单可以提一下求导的一些方法:
- 在括号里面的是认定独立的变量,求导的时候对其中一个求偏导,其他的度量变量看作是常数
- 很多时候函数没办法处理成显函数,而是一个具有某个关系的隐含数。隐含数求导的公式:对于一隐含数 F ( x , y , z ) = 0 F(x,y,z) = 0 F(x,y,z)=0求 δ y δ x \frac{\delta y}{\delta x} δxδy 在目标公式中,认为y是因变量,其实就默认了我们讨论的是 y ( x , z ) y(x,z) y(x,z)这个式子。所以直接算的话: δ F δ x \frac{\delta F}{\delta x} δxδF + δ F δ y \frac{\delta F}{\delta y} δyδF δ y δ x = 0 \frac{\delta y}{\delta x} = 0 δxδy=0 (z和x独立,y和x有关;凑出 δ y δ x \frac{\delta y}{\delta x} δxδy)。因为是函数,左右两边具有统一性,认为是对左右两边同时求导。最后便可以整理成目标 δ y δ x \frac{\delta y}{\delta x} δxδy = - F x F y \frac{F_x}{F_y} FyFx
- 小发现:曲面方程和隐含数的方程是一样的,数学特性一样但是数学意义不一样。一个是几何概念,一个默认了哪些是自变量哪个是因变量,是代数的概念,集合上而言就是把某个维度专门作为映射的结果,其他维度作为映射的输入了。
极值以及闭式解
驻点和不可导点
驻点是导数为0。极值会在驻点出现。驻点处不一定有极值,需要做一些数学上的判断。以
F
=
z
(
x
,
y
)
F = z(x,y)
F=z(x,y)为例,
A
=
F
x
x
A = F_{xx}
A=Fxx,
B
=
F
x
y
B = F_{xy}
B=Fxy,
C
=
F
y
y
C = F_{yy}
C=Fyy。
验证
A
C
−
B
2
AC - B^2
AC−B2
如果>0 ,A>0,有极小值;A<0,有极大值
= 0,不确定,类似于鞍部
< 0,无极值
条件极值
剖析这个提设,会发现条件极值有两个部分,一个是条件,一个是极值(函数)。
所有条件极值的概念很好理解,就是在条件下的函数的极值。(以下的描述方便于理解,选择可以可视化 的3维内)
函数
z
=
f
(
x
,
y
)
z = f(x,y)
z=f(x,y)
条件
g
(
x
,
y
)
=
0
g(x,y) =0
g(x,y)=0