机器学习数学基础-极值和最值

极值和最值

极值和最值是数学中关于函数变化的重要概念，它们描述了函数在某些点附近或在整个定义域内的“最大”或“最小”行为。理解极值和最值对优化问题、函数分析、物理建模等领域有重要的应用。

1. 极值（Local Extrema）

极值是指函数在某个区间内的某一点取得的局部最大值或最小值。

(1) 局部最大值（Local Maximum）

一个函数在某点 ( x = c ) 取得局部最大值，意味着存在一个包含 ( c ) 的小区间，使得在这个区间内所有的点 ( x ) 都满足：

$$f(x)\le f(c)$$

也就是说，( f© ) 是在这个区间内的最大值。

(2) 局部最小值（Local Minimum）

一个函数在某点 ( x = c ) 取得局部最小值，意味着存在一个包含 ( c ) 的小区间，使得在这个区间内所有的点 ( x ) 都满足：

$$f(x)\ge f(c)$$

也就是说，( f© ) 是在这个区间内的最小值。

(3) 定义

如果函数 ( f(x) ) 在点 ( c ) 的某个邻域内取得极大或极小值，那么点 ( c ) 称为极值点。如果 ( f(x) ) 在该点取得最大或最小值，则称其为极值。

2. 最值（Global Extrema）

最值是指函数在整个定义域内的最大值或最小值。

(1) 全局最大值（Global Maximum）

函数 ( f(x) ) 在其定义域 ( D ) 上取得全局最大值，意味着对于所有 ( x \in D )，都有：

$$f(x)\le f(c)$$

其中 ( c ) 是使得 ( f© ) 取得全局最大值的点。

(2) 全局最小值（Global Minimum）

函数 ( f(x) ) 在其定义域 ( D ) 上取得全局最小值，意味着对于所有 ( x \in D )，都有：

$$f(x)\ge f(c)$$

其中 ( c ) 是使得 ( f© ) 取得全局最小值的点。

(3) 定义

如果 ( f(x) ) 在其定义域 ( D ) 上某一点 ( c ) 取得的函数值是整个定义域内所有函数值中的最大值或最小值，则称该点为最值点。该点对应的函数值称为最值。

3. 极值与最值的关系

• 极值是局部的，即只在某一小范围内（一个小区间）相对于其他点取最大或最小值。
• 最值是全局的，即在整个定义域内相对于所有其他点取最大或最小值。

一个函数可能有多个极值点，但可能只有一个最值。例如，函数 ( f(x) = \sin(x) ) 在区间 ( [0, 2\pi] ) 内有多个极值点，但它的全局最大值和最小值分别是 ( 1 ) 和 ( -1 )。

4. 如何求极值和最值

(1) 极值点的判定（通过导数）

要找函数的极值，通常可以通过求导数来进行分析：

• 一阶导数法：如果 ( f’(x) = 0 ) 或 ( f’(x) ) 不存在，则可能存在极值点。此时，( x ) 是候选的极值点。
• 二阶导数法：进一步地，通过二阶导数 ( f’'(x) ) 来判断该点是极大值、极小值还是拐点：
  • 如果 ( f’'(x) > 0 )，则函数在该点处有局部最小值。
  • 如果 ( f’'(x) < 0 )，则函数在该点处有局部最大值。
  • 如果 ( f’'(x) = 0 )，则无法确定，可能是拐点，需要更高阶导数或其他方法来分析。

(2) 求最值

要找到函数的最值，通常有两种情况需要考虑：

1. 在闭区间上的最值：如果函数在闭区间 ( [a, b] ) 上定义，并且是连续的，则根据极值定理，函数在该区间内必定有最大值和最小值。这些最值可能出现在区间的端点或者区间内的极值点。

2. 在开区间上的最值：如果函数没有明确的定义域，可能需要通过其他方法（如极限等）来找到函数的全局最大值或最小值。

5. 极值和最值的例题

例题1：求函数 ( f(x) = x^3 - 3x ) 在区间 ( [-2, 2] ) 上的极值和最值。

解答：

1. 求导：( f’(x) = 3x^2 - 3 = 3(x^2 - 1) = 3(x - 1)(x + 1) )。

2. 求解 ( f’(x) = 0 )：解得 ( x = 1 ) 和 ( x = -1 )。

3. 检查端点 ( x = -2 ) 和 ( x = 2 ) 的函数值：

   • ( f(-2) = (-2)^3 - 3(-2) = -8 + 6 = -2 )
   • ( f(2) = 2^3 - 3(2) = 8 - 6 = 2 )
   • ( f(1) = 1^3 - 3(1) = 1 - 3 = -2 )
   • ( f(-1) = (-1)^3 - 3(-1) = -1 + 3 = 2 )

4. 比较各点的值：

   • 最大值 ( f(2) = 2 )
   • 最小值 ( f(1) = -2 )

所以，函数在区间 ( [-2, 2] ) 上的最大值是 ( 2 )，最小值是 ( -2 )。

例题2：求函数 ( f(x) = e^{-x2} ) 的极值和最值。

解答：

1. 求导：( f’(x) = -2xe^{-x2} )。

2. 求解 ( f’(x) = 0 )：得到 ( x = 0 )。

3. 检查极值：( f’‘(x) = (-2 + 4x^2)e{-x^2} )。在 ( x = 0 ) 处，( f’'(0) = -2 )，所以 ( x = 0 ) 是局部最大值。

4. 最值：函数 ( f(x) = e^{-x2} ) 在 ( x = 0 ) 处取得全局最大值 ( f(0) = 1 )，并且当 ( x \to \pm \infty ) 时，( f(x) \to 0 )。

所以，全局最大值是 ( 1 )，最小值趋向于 ( 0 )（但永远不会等于 0）。

6. 总结

• 极值是指函数在某一点的局部最大或最小值。
• 最值是指函数在整个定义域内的最大或最小值。
• 求极值通常通过一阶导数为零来找到极值点，然后通过二阶导数判定极值的类型。
• 求最值则需要考虑函数的定义域，可能涉及到端点的值和极值点的比较。