机器学习数学基础-二元函数的极值

二元函数的极值是微积分中的一个重要概念，它描述了函数在某一点的局部最大值或最小值。在二元函数的极值问题中，我们关注的是函数在二维平面上如何变化，特别是函数值在某些点的局部极大值或极小值。

1. 二元函数的极值定义

设 ( f(x, y) ) 是一个定义在平面上某区域 ( D ) 中的二元函数。如果在点 ( (x_0, y_0) ) 处，函数值 ( f(x_0, y_0) ) 在某个邻域内比其他点的函数值大（小），那么我们就说 ( f(x, y) ) 在该点有一个局部极大值（或局部极小值）。

• 局部极大值：若 ( f(x_0, y_0) ) 大于该点邻域内的其他点的函数值，即对于任意接近 ( (x_0, y_0) ) 的点 ( (x, y) )，都有 ( f(x, y) \leq f(x_0, y_0) )。
• 局部极小值：若 ( f(x_0, y_0) ) 小于该点邻域内的其他点的函数值，即对于任意接近 ( (x_0, y_0) ) 的点 ( (x, y) )，都有 ( f(x, y) \geq f(x_0, y_0) )。

2. 寻找极值点的方法：一阶条件

为了寻找二元函数 ( f(x, y) ) 的极值点，我们首先需要计算其一阶偏导数。对于极值点，函数在该点的偏导数必须为零，即：

$$\frac{\partial f}{\partial x}(x_0,y_0)=0\text{和}\frac{\partial f}{\partial y}(x_0,y_0)=0$$

这些条件是寻找极值点的必要条件。若点 ( (x_0, y_0) ) 满足以上条件，我们接下来可以通过二阶条件来判断该点是极大值、极小值还是鞍点。

3. 二阶条件：判断极值的性质

通过计算二阶偏导数，可以使用二阶导数判别法来判断极值点的性质。首先，计算以下几个二阶偏导数：

• ( f_{xx} = \frac{\partial^2 f}{\partial x^2} )
• ( f_{yy} = \frac{\partial^2 f}{\partial y^2} )
• ( f_{xy} = \frac{\partial^2 f}{\partial x \partial y} )

然后，计算Hesse矩阵的行列式 ( D )：

$$D=f_{xx}{f}_{yy}-(f_{xy}{)}^2$$

根据 ( D ) 和 ( f_{xx} ) 的值，我们可以得出以下结论：

• 如果 ( D > 0 ) 且 ( f_{xx} > 0 )，则 ( (x_0, y_0) ) 是一个局部极小值点。
• 如果 ( D > 0 ) 且 ( f_{xx} < 0 )，则 ( (x_0, y_0) ) 是一个局部极大值点。
• 如果 ( D < 0 )，则 ( (x_0, y_0) ) 是一个鞍点，即既不是极大值也不是极小值。
• 如果 ( D = 0 )，则无法通过二阶导数判别法判断，需要进一步分析。

4. 例题

例题 1：( f(x, y) = x^2 + y^2 )

我们来分析函数 ( f(x, y) = x^2 + y^2 ) 的极值。

步骤 1：计算一阶偏导数

• ( \frac{\partial f}{\partial x} = 2x )
• ( \frac{\partial f}{\partial y} = 2y )

令这两个偏导数为零，得到 ( x = 0 ) 和 ( y = 0 )。

因此，候选的极值点是 ( (0, 0) )。

步骤 2：计算二阶偏导数

• ( f_{xx} = 2 )
• ( f_{yy} = 2 )
• ( f_{xy} = 0 )

步骤 3：计算行列式 ( D )

$$D=f_{xx}{f}_{yy}-(f_{xy}{)}^2=2\times 2-0^2=4$$

由于 ( D > 0 ) 且 ( f_{xx} > 0 )，根据二阶导数判别法，函数 ( f(x, y) = x^2 + y^2 ) 在点 ( (0, 0) ) 处有一个局部极小值。

例题 2：( f(x, y) = x^3 - 3xy^2 )

现在分析函数 ( f(x, y) = x^3 - 3xy^2 ) 的极值。

步骤 1：计算一阶偏导数

• ( \frac{\partial f}{\partial x} = 3x^2 - 3y^2 )
• ( \frac{\partial f}{\partial y} = -6xy )

令这两个偏导数为零，得到：

• ( 3x^2 - 3y^2 = 0 \Rightarrow x^2 = y^2 )
• ( -6xy = 0 \Rightarrow x = 0 \text{ 或 } y = 0 )

解得候选极值点为 ( (0, 0) )、( (1, 1) ) 和 ( (-1, 1) )。

步骤 2：计算二阶偏导数

• ( f_{xx} = 6x )
• ( f_{yy} = -6x )
• ( f_{xy} = -6y )

步骤 3：计算行列式 ( D )

对于点 ( (0, 0) )：

$$D=f_{xx}{f}_{yy}-(f_{xy}{)}^2=6(0)\times (-6(0))-(-6(0){)}^2=0$$

由于 ( D = 0 )，我们无法通过二阶导数判别法判断该点的性质，需要进一步分析。可以通过图像或者其他方法进一步探讨该点是否为鞍点。

5. 总结

二元函数的极值问题可以通过以下步骤求解：

1. 计算一阶偏导数，并找到候选极值点。
2. 计算二阶偏导数和行列式 ( D )，利用二阶导数判别法来判断极值点的性质。
3. 根据 ( D ) 和 ( f_{xx} ) 的符号，确定该点是局部极大值、局部极小值还是鞍点。

极值问题在优化、经济学、物理学等多个领域中有广泛应用。