拉格朗日乘子

1，拉格朗日乘子（lagrange multiplier）,又叫拉氏乘子或拉格朗日乘数。它是出现在拉格朗日乘数法中的概念。

拉格朗日乘数法可以解决多变量函数在其变量受到一个或多个约束条件时求极值的问题。
它可以将含有n个变量的函数（该函数的变量有k个约束条件）的极值问题转化为含有n+k个变量的方程组的解。
实现该方法过程中引入的一个或一组新的未知数就叫拉格朗日乘子。

2，从点到直线的距离说起。

在二维直角坐标系中有一点(m, n)和一条直线ax+by+c=0。现在要求点到直线的距离。
可以用拉格朗日乘数法解决：
点到直线的距离即为点到直线所有点中的那个最小距离。
2.1 在直线上随机取一点(x, y)，距离函数为$d=\sqrt{(m-x{)}^2+(n-y{)}^2}，约束条件为ax+by+c=0$；
2.2 构建拉格朗日函数：$\mathcal{L}(x,y,\lambda )=d^2+\lambda (ax+by+c)$，则函数d的极值点即为函数$d^2$的极值点，即为$\mathcal{L}(x,y,\lambda )$函数的极值点（这样构造的目的是为了简化计算）；
2.3 将$\mathcal{L}(x,y,\lambda )$的所有偏微分设为0：
$2(x-m)+\lambda a=0$
$2(y-n)+\lambda b=0$
$ax+by+c=0$
2.4 解得结果为
$\lambda =\frac{2(am+bn+c)}{a^2+b^2}$
2.5 易求得：
$d=\frac{|am+bn+c|}{\sqrt{a^2+b^2}}$

3，求最大熵问题

对于离散分布，有x1, x2,…, xn一共n个点，概率分别为p1, p2, …, pn，构建如下的熵函数：
$f(p1,p2,...,pn)=-{\sum }_{i=1}^{n}pi{\log }_2(pi)，约束条件为g(p1,p2,...,pn)={\sum }_{i=1}^{n}pi=1$。
3.1 构建拉格朗日方程：
$\mathcal{L}(p1,p2,...,pn,\lambda )=f(p1,p2,...,pn)+\lambda (g(p1,p2,...,pn)-1)$
3.2 令所有的偏微分为0：
$\frac{\partial }{\partial pi|\lambda }\mathcal{L}(p1,p2,...,pn,\lambda )=0$，
上式的含义是对所有变量$(p1,p2,...,pn,\lambda )$分别求偏微分，所以一共有n+1个方程。
3.3 上述方程的解为：
$-(lo{g}_{2}pi+\frac{1}{ln2})+\lambda =0$ for every i
3.4 易得$pi=\frac{1}{n}$，所以在均匀分布的情况下能获得最大熵。

4，数值优化问题

Question：$求y=x^2在约束条件x^2=1下的最小值。$
4.1 直觉法，很显然x在取1或-1时，y的值相等，都为1。
4.2 拉格朗日法
4.21 跟上面一样，构建拉格朗日方程：
$\mathcal{L}(x,\lambda )=x^2+\lambda (x^2-1)$
上述方程对应图形为：

4.22 令所有的偏微分为0：
$\frac{\partial \mathcal{L}}{\partial x}=2x+2x\lambda =0$，
$\frac{\partial \mathcal{L}}{\partial \lambda }=x^2-1=0$，
容易求出$\lambda =-1时，$满足条件，此时有两个临界点，如上图所示，但这两个点都是鞍点，需要进一步确定这些点哪个最小值点。
4.23 用数值优化的方法来解决上述问题
构建梯度的平方和的算术平方根函数：
$h(x,\lambda )=\sqrt{(2x+2x\lambda {)}^2+(x^2-1{)}^2}$
此函数图像为

易知道此函数含有最小值点。用数值方法可以来解决损失函数的鞍点问题。

5，拉格朗日乘数法的数学证明

Reference

https://en.wikipedia.org/wiki/Lagrange_multiplier