集成学习（一）：数学基础（高数）

集成学习（一）：数学基础（高数）

在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。

本次学习将介绍集成学习的相关知识，从零开始逐步递进。首先是关于数学基础部分的知识介绍，用到的数学基础主要包括高等数学，线性代数以及概率论和数理统计。大学本科的基础类课程，在这里稍加回顾，如果后期用到数学知识的内容但没有记住的话可以阅读本文。

高等数学

1 函数

1.1 函数的定义

定义:设数集 $D\subset \mathbf{R},\text{ 则称映射 }f:D\to \mathbf{R}\text{ 为定义在 }D\text{ 上的函数,通常简记为 }$
$$y=f(x),x\in D$$
函数定义中,对每个 $x\in D$,按对应法则 $f$,总有唯一确定的值 $y$ 与之对应， 这个值称为函数 $f$ 在 $x$ 处的函数值,记作 $f(x),$ 即 $y=f(x).$ 因变量 $y$ 与自变量 $x$ 之间的这种依赖关系,通常称为函数关系. 函数值 $f(x)$ 的全体所构成的集合称为函数 $f$ 的值域,记作 $R_f$ 或 $f(D),$ 即
R f = f ( D ) = { y ∣ y = f ( x ) , x ∈ D } R_{f}=f(D)=\{y \mid y=f(x), x \in D\} Rf​=f(D)={y∣y=f(x),x∈D}

说白了，函数就是实数集到实数集的一个映射，如：
$$y=|x|=\{\begin{array}{ll}x,& x⩾0\\ -x,& x<0\end{array}$$
的定义域 $D=(-\infty ,+\infty ),$ 值域 $R_f=[0,+\infty ),$

1.2 反函数

设函数 $f:D\to f(D)$ 是单射,则它存在逆映射 $f^{-1}:f(D)\to D,$ 称此映射 $f^{-1}$ 为函数 $f$ 的反函数。按此定义,对每个 $y\in f(D),$ 有唯一的 $x\in D,$ 使得 $f(x)=y,$ 于是有 $f^{-1}(y)=x$
这就是说,反函数 $f^{-1}$ 的对应法则是完全由函数 $f$ 的对应法则所确定的. 例如,函数 $y=x^3,x\in \mathbf{R}$ 是单射, 所以它的反函数存在,其反函数为
$x=y^{\frac{1}{3}},y\in \mathbf{R}$
由于习惯上自变量用 $x$ 表示,因变量用 $y$ 表示,于是 $y=x^3,x\in \mathbf{R}$ 的反函数通常写作 $y=x^{\frac{1}{3}},x\in \mathbf{R}$。一般的, $y=f(x),x\in D$ 的反函数记成 $y=f^{-1}(x),x\in f(D)$.

1.3 复合函数

设函数 $y=f(u)$ 的定义城为 $D_f,$ 函数 $u=g(x)$ 的定义域为 $D_x,$ 且其值域 $R_g\subset D_t,$ 则由下式确定的函数
$$y=f[g(x)],x\in D_x$$
称为由函数 $u=g(x)$ 与函数 $y=f(u)$ 构成的复合函数,它的定义域为 $D_x$ ,变量$u$ 称为中间变量。

例子：物体运动的动能为 $E=m{v}^2/2,$ 而自由落体的速度为 $v=gt,$ 所以自由落体的动能是时间 $t$ 的复合函数 :
$$E=\frac{1}{2}m{g}^2{t}^2$$

2.导数

2.1 导数的定义

定义：设函数 $y=f(x)$ 在点 $x_0$ 的某个邻域内有定义,当自变量 $x$ 在 $x_0$ 处取得增量
$\Delta x$ ;如果 $\Delta y$ 与 $\Delta x$ 之比当 $\Delta x\to 0$ 时的 极限存在, 则称函数 $y=$ $f(x)$ 在点 $x_0$ 处可导,并称这个极限为函数 $y=f(x)$ 在点 $x_0$ 处的导数,记为 $f^{\prime }\left(x_0\right),$ 即
$$f^{\prime }\left(x_0\right)=\underset{\Delta ,x\to 0}{\lim }\frac{\Delta y}{\Delta x}=\underset{\Delta x\to 0}{\lim }\frac{f\left(x_0+\Delta x\right)-f\left(x_0\right)}{\Delta x}$$
也可记作 ${y^{\prime }|}_{x=x_0}$,${\frac{\mathrm{d}y}{\mathrm{d}x}|}_{x=x_0}$

简单的说，导数就是因变量的增量与自变量的增量之比的极限。尝试使用函数导数的定义推导$y=x^2$的导数？

2.2 函数的求导法则

(1) 函数的和差积商的求导法则：
$$\begin{gathered} [u(x)\pm v(x){]}^{\prime }=u^{\prime }(x)\pm v^{\prime }(x) \\ [u(x)v(x){]}^{\prime }=u^{\prime }(x)v(x)+u(x)v^{\prime }(x) \\ {\left[\frac{u(x)}{v(x)}\right]}^{\prime }=\frac{u^{\prime }(x)v(x)-u(x)v^{\prime }(x)}{v^2(x)}(v(x)\ne 0) \end{gathered}$$
例子：
求$y=2x^3-5x^2+3x-7$的导数？
解：
$$\begin{array}{rl}{y}^{\prime }& ={\left(2x^3-5x^2+3x-7\right)}^{\prime }\\ & ={\left(2x^3\right)}^{\prime }-{\left(5x^2\right)}^{\prime }+(3x{)}^{\prime }-(7{)}^{\prime }\\ & =2\cdot 3x^2-5\cdot 2x+3-0=6x^2-10x+3\end{array}$$

(2)复合函数的求导法则：
如果 $u=g(x)$ 在点 $x$ 可导, 而 $y=f(u)$ 在点 $u=g(x)$ 可导, 则：
$$\frac{\mathrm{d}y}{\mathrm{d}x}=f^{\prime }(u)\cdot g^{\prime }(x)\text{ 或 }\frac{\mathrm{d}y}{\mathrm{d}x}=\frac{\mathrm{d}y}{\mathrm{d}u}\cdot \frac{\mathrm{d}u}{\mathrm{d}x}$$

例子：
$y=e^{x^3},$ 求 $\frac{dy}{dx}$.
解 $y={\mathrm{e}}^{x^3}$ 可看作由 $y={\mathrm{e}}^{\prime \prime },u=x^3$ 复合而成, 因此
$$\frac{\mathrm{d}y}{\mathrm{d}x}=\frac{\mathrm{d}y}{\mathrm{d}u}\cdot \frac{\mathrm{d}u}{\mathrm{d}x}={\mathrm{e}}^u\cdot 3x^2=3x^2{\mathrm{e}}^{x^3}$$
(3)常用的初等函数导数：
$$\begin{gathered} (1)(C{)}^{\prime }=0,(2){\left(x^{\prime \prime }\right)}^{\prime }=\mu x^{\prime \prime -1}, \\ (3)(\sin x{)}^{\prime }=\cos x,(4)(\cos x{)}^{\prime }=-\sin x, \\ (5)(\tan x{)}^{\prime }={\sec }^{2}x,(6)(\cot x{)}^{\prime }=-{\csc }^{2}x, \\ (7)(\sec x{)}^{\prime }=\sec x\tan x,(8)(\csc x{)}^{\prime }=-\csc x\cot x, \\ (9){\left(a^x\right)}^{\prime }=a^x\ln a,(10){\left({\mathrm{e}}^x\right)}^{\prime }={\mathrm{e}}^x, \\ (11){\left({\log }_{a}x\right)}^{\prime }=\frac{1}{x\ln a},(12)(\ln x{)}^{\prime }=\frac{1}{x}, \\ (13)(\arcsin x{)}^{\prime }=\frac{1}{\sqrt{1-x^2}},(14)(\arccos x{)}^{\prime }=-\frac{1}{\sqrt{1-x^2}}, \\ (15)(\arctan x{)}^{\prime }=\frac{1}{1+x^2},(16)(\mathrm{arccot}x{)}^{\prime }=-\frac{1}{1+x^2} \end{gathered}$$

2.3 高阶导数

若函数 $y=f(x)$ 的导数 $y^{\prime }=f^{\prime }(x)$ 可导，则称 $f^{\prime }(x)$ 的导数为 $f(x)$ 的二阶导数，记作 $y^{\prime \prime }$ 或 $\frac{d^{2}y}{d{x}^2},$ 即
$$y^{\prime \prime }={\left(y^{\prime }\right)}^{\prime }\text{ 或 }\frac{d^{2}y}{d{x}^2}=\frac{d}{dx}\left(\frac{dy}{dx}\right)$$
类似地，二阶导数的导数称为三阶导数，依次类推。二阶和二阶以上的导数统称为高阶导数。
例子：
求函数 $\ln (1+x)$ 的 2 阶导数：
解：
$y=\ln (1+x),y^{\prime }=\frac{1}{1+x}$，$y^{\prime \prime }=-\frac{1}{(1+x{)}^2},$

3 多元函数

3.1 多元函数的相关概念

(1)n维空间：
设 $n$ 为取定的一个正整数,我们用 ${\mathbf{R}}^n$ 表示 $n$ 元有序实数组 $(x_1,x_2,\cdots ,$
$x_n)$ 的全体所构成的集合, 即
R n = R × R × ⋯ × R = { ( x 1 , x 2 , ⋯   , x n ) ∣ x i ∈ R , i = 1 , 2 , ⋯   , n } \mathbf{R}^{n}=\mathbf{R} \times \mathbf{R} \times \cdots \times \mathbf{R}=\left\{\left(x_{1}, x_{2}, \cdots, x_{n}\right) \mid x_{i} \in \mathbf{R}, i=1,2, \cdots, n\right\} Rn=R×R×⋯×R={(x1​,x2​,⋯,xn​)∣xi​∈R,i=1,2,⋯,n}
${\mathbf{R}}^n$ 中的元素 $\left(x_1,x_2,\cdots ,x_n\right)$ 有时也用单个字母 $\mathbf{x}$ 来表示, 即 $\mathbf{x}=(x_1,x_2,\cdots ,$
$x_n).$ 当所有的 $x_i(i=1,2,\cdots ,n)$ 都为零时,称这样的元素为 ${\mathbf{R}}^n$ 中的零元,记为
0或 O. 在解析几何中,通过直角坐标系, ${\mathbf{R}}^2$ (或 ${\mathbf{R}}^3$ )中的元素分别与平面（或空间)中的点或向量建立一一对应。
为了在集合 ${\mathbf{R}}^n$ 中的元索之间建立联系,在 ${\mathbf{R}}^n$ 中定义线代运算如下：

设 $x=\left(x_1,x_2,\cdots ,x_n\right),y=\left(y_1,y_2,\cdots ,y_n\right)$ 为 ${\mathbf{R}}^n$ 中任意两个元素 $,\lambda \in \mathbf{R}$规定：
$$\begin{array}{l}x+y=\left(x_1+y_1,x_2+y_2,\cdots ,x_n+y_n\right),\\ \lambda x=\left(\lambda x_1,\lambda x_2,\cdots ,\lambda x_n\right)\end{array}$$
这样定义了线性运算的集合 ${\mathbf{R}}^n$ 称为 $n$ 维空间.
${\mathbf{R}}^n$ 中点 $\mathbf{x}=\left(x_1,x_2,\cdots ,x_n\right)$ 和点 $\mathbf{y}=\left(y_1,y_2,\cdots ,y_n\right)$ 间的距离, 记作$\rho (x,y),$ 规定
$$\rho (x,y)=\sqrt{{\left(x_1-y_1\right)}^2+{\left(x_2-y_2\right)}^2+\cdots +{\left(x_n-y_n\right)}^2}$$
(2)二元函数：
设 $D$ 是 ${\mathbf{R}}^2$ 的一个非空子集,称映射 $f:D\to \mathbf{R}$ 为定义在 $D$ 上的二元函数,通常记为
$$z=f(x,y),(x,y)\in D$$
或
$$z=f(P),P\in D$$

3.2 多元函数偏导数

定义：
设二元函数 $=f(x,y)$ 在点 $\left(x_0,y_0\right)$ 的某一邻域内有定义，当固定在 $y_0$ 而x在 $x_0$ 处有增量$\Delta x$时， 相应的函数有增量 ${\Delta }_{x}z=f\left(x_0+\Delta x,y_0\right)-f\left(x_0,y_0\right).$
如果 ${\lim }_{\Delta x\to 0}\frac{{\Delta }_{x}z}{\Delta x}$ 存在，就称此极限为函数 $z=f(x,y)$
在点( $x_0,y_0)$ 处对x的偏导数.
记作 $\frac{\partial z}{\partial x}\left|\left(x_0,y_0\right),\frac{\partial f}{\partial x}\right|{\left(x_0,y_0\right)}^{,z_x\mid \left(x_0,y_0\right)},f_x\left(x_0,y_0\right).$
即 ${\frac{\partial z}{\partial x}|}_{\left(x_0,y_0\right)}={\lim }_{\Delta x\to 0}\frac{{\Delta }_{x}z}{\Delta x}={\lim }_{\Delta x\to 0}\frac{f\left(x_0+\Delta x,y_0\right)-f\left(x_0,y_0\right)}{\Delta x}$
例子：
求 $z=x^2+3xy+y^2$ 在点 (1,2) 处的偏导数.
解：
把 $y$ 看做常数,得
$$\frac{\partial z}{\partial x}=2x+3y$$
把 $x$ 看做常数,得
$$\frac{\partial z}{\partial y}=3x+2y$$
将(1,2)代人上面的结果,就得
$$\begin{array}{l}{\frac{\partial z}{\partial x}|}_{\genfrac{}{}{0ex}{}{x=1}{y=2}}=2\cdot 1+3\cdot 2=8\\ {\frac{\partial z}{\partial y}|}_{\genfrac{}{}{0ex}{}{x=1}{y=2}}=3\cdot 1+2\cdot 2=7\end{array}$$

3.3 梯度向量

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。
定义：设二元函数 $z=f(x,y)$ 在平面区域D上具有一阶连续偏导数，则对于每一个点P（x, y）都可定出一个向量 $\left\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right\}=f_x(x,y)\bar{i}+f_y(x,y)\bar{j},$ 该函数就称为函数 $z=f(x,y)$ 在点P $(\mathrm{x},\mathrm{y})$ 的梯度，记作gradf $(\mathrm{x},\mathrm{y})$ 或
$\nabla f(x,y)$,即有:
$$\mathrm{gradf}(\mathrm{x},\mathrm{y})=\nabla f(x,y)=\left\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right\}=f_x(x,y)\bar{i}+f_y(x,y)\bar{j}$$
其中 $\nabla =\frac{\partial }{\partial x}\bar{i}+\frac{\partial }{\partial y}\bar{j}$ 称为（二维的）向量微分算子或Nabla算子, $\nabla f=\frac{\partial f}{\partial x}\bar{i}+\frac{\partial f}{\partial y}\bar{j}$ 。
例子：请你计算$f(x,y)=x^2+y^2$的梯度向量。

3.4 雅可比矩阵

假设 $F:{\mathbb{R}}_n\to {\mathbb{R}}_m$ 是一个从n维欧氏空间映射到到m维欧氏空间的函数。
这个函数由m个实函数组成:
$y_1\left(x_1,\cdots ,x_n\right),\cdots ,y_m\left(x_1,\cdots ,x_n\right)$ 。这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵，这个矩阵就是所谓的雅可 比矩阵:
$$\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$
可见，梯度向量是雅克比矩阵的特例！
例子：求$F=(f_1(x,y),f_{(}x,y){)}^T$的雅克比矩阵，其中$f_1(x,y)=2x^2+y^2,f_2(x,y)=x^2+3y^2$。

3.5 海森矩阵（Hessian矩阵）

黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。
在数学中，海森矩阵（Hessian matrix 或 Hessian）是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，假設有一实数函数
$$f\left(x_1,x_2,\dots ,x_n\right)$$
如果 $f$ 所有的二阶偏导数都存在，那么 $f$ 的海森矩阵的第 $ij$ 项，即：
$$H(f{)}_{ij}(x)=D_i{D}_{j}f(x)$$
其中 $x=\left(x_1,x_2,\dots ,x_n\right),$ 即
$$H(f)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$
实际上，Hessian矩阵是梯度向量g(x)对自变量x的Jacobian矩阵。
例子：求$f(x,y)=2x^2+y^2$的海森矩阵。

4 函数极值问题

4.1 函数的极值与最值的概念

极值：设函数 $f(x)$ 在点 $x_0$ 的某邻域 $U\left(x_0\right)$ 内有定义，如果对于去心邻域U $\left(x_0\right)$ 内的任一 $x$, 有 A
$$f(x)<f\left(x_0\right)\text{ 或 }f(x)>f\left(x_0\right)$$
那么就称 $f\left(x_0\right)$ 是函数的一个极大值或极小值。函数的极大值和极小值统称为函数的极值, 使函数取得极值的点被称作极值点。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3h4rNFhl-1629172089629)(./image/高等数学/1.jpg)]

最值是函数在其定义域内取得最大值（或最小值）的点的函数值。极值是局部性的概念，而最值是全局性的概念。

4.2 最优性条件

一元函数框架下：

1.判定极值的一阶充分条件：
设函数 $f(x)$ 在 $x_0$ 处连续，且在 $x_0$ 的某去心邻域 $U\left(x_0,\delta \right)$ 内可导
(1) 若 $x\in \left(x_0-\delta ,x_0\right)$ 时, $f^{\prime }(x)>0,$ 而 $x\in \left(x_0,x_0+\delta \right)$ 时， $f^{\prime }(x)<0,$ 则 $f(x)$ 在 $x_0$ 处取得极大值;
(2) 若 $x\in \left(x_0-\delta ,x_0\right)$ 时， $f^{\prime }(x)<0$,而 $x\in \left(x_0,x_0+\delta \right)$ 时， $f^{\prime }(x)>0$,则 $f(x)$ 在 $x_0$ 处取得极小值
(3) 若 $x\in \dot{U}\left(x_0,\delta \right)$ 时, $f^{\prime }(x)$ 的符号保持不变，则 $f(x)$ 在 $x_0$ 处没有极值

2.判定极值的二阶充分条件：
设函数 $f(x)$ 在 $x_0$ 处具有二阶导数且 $f^{\prime }\left(x_0\right)=0,f^{\prime \prime }\left(x_0\right)\ne 0$ 那么：
(1) 当 $f^{\prime \prime }\left(x_0\right)<0$ 时，函数 $f(x)$ 在 $x_0$ 处取得极大值;
(2) 当 $f^{\prime \prime }\left(x_0\right)>0$ 时，函数 $f(x)$ 在 $x_0$ 处取得极小值.

多元函数框架下

定理：（二元函数取得极值的充分条件）如果函数 $z=f(x,y)$ 在点 $\left(x_0,y_0\right)$ 的某邻域内具有连续的二阶偏导数, $\left(x_0,y_0\right)$ 是它的驻点，令：
$$\begin{array}{c}A=f_{xx}\left(x_0,y_0\right),B=f_{xy}\left(x_0,y_0\right),C=f_{yy}\left(x_0,y_0\right)\\ \Delta =B^2-AC\end{array}$$
则:
(1)当$\Delta <0$ 时， $f(x,y)$ 在 $\left(x_0,y_0\right)$ 取得极值. 其中 $A>0$ 时取极小值, $A<0$ 时取极大值.
(2)当 $\Delta >0$ 时, $f\left(x_0,y_0\right)$ 不是极值.
(3)当 $\Delta =0$ 时, 不能确定，需进一步判断.
更加严谨的表述：
设n多元实函数 $f\left(x_1,x_2,\cdots ,x_n\right)$ 在点 $M_0\left(a_1,a_2,\dots ,a_n\right)$ 的邻域内有二阶连续偏导，若有:
$${\frac{\partial f}{\partial x_j}|}_{\left(a_1,a_2,\dots ,a_n\right)}=0,j=1,2,\dots ,n$$
并且
$$A=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$
则有如下结果:
(1) 当A正定矩阵时, $f\left(x_1,x_2,\cdots ,x_n\right)$ 在 $M_0\left(a_1,a_2,\dots ,a_n\right)$ 处是极小值;
(2) 当A负定矩阵时, $f\left(x_1,x_2,\cdots ,x_n\right)$ 在 $M_0\left(a_1,a_2,\dots ,a_n\right)$ 处是极大值;
(3) 当A不定矩阵时, $M_0\left(a_1,a_2,\dots ,a_n\right)$ 不是极值点。
(4) 当A为半正定矩阵或半负定矩阵时, $M_0\left(a_1,a_2,\dots ,a_n\right)$ 是“可疑"极值点，尚需要利用其他方法来判定。

例子：求三元函数 $f(x,y,z)=x^2+y^2+z^2+2x+4y-6z$ 的极值。
解: 因为 $\frac{\partial f}{\partial x}=2x+2,\frac{\partial f}{\partial y}=2y+4,\frac{\partial f}{\partial z}=2z-6,$ 故该三元函数的驻点是 (-1,-2,3) 。
又因为 $\frac{{\partial }^{2}f}{\partial x^2}=2,\frac{{\partial }^{2}f}{\partial y^2}=2,\frac{{\partial }^{2}f}{\partial z^2}=2,\frac{{\partial }^{2}f}{\partial x\partial y}=0,\frac{{\partial }^{2}f}{\partial x\partial z}=0,\frac{{\partial }^{2}f}{\partial y\partial z}=0$
故有: $A=\left(\begin{array}{ccc}2& 0& 0\\ 0& 2& 0\\ 0& 0& 2\end{array}\right)$
因为A是正定矩阵，故 (-1,-2,3) 是极小值点，且极小值 $f(-1,-2,3)=-14$ 。

4.3 求带等式约束的优化问题(拉格朗日乘子法)

引例：
求表面积为 $a^2$ 市体积最大的长方体的体积。
方法(1)：化为无条件约束的优化问题，再使用4.2节的方法
设长方体的三棱的长为 $x,y,z,$ 则体积
$$V=xyz$$
又因假定表面积为 $a^2,$ 所以自变量 $x,y,z$ 还必须满足附加条件
$$2(xy+yz+xz)=a^2$$
像这种对自变量有附加条件的极值问题称为条件极值。而没有附加条件的问题就叫无条件极值。 有条件极值可以化为无条件极值，例如上述问题，可将条件2 $2(xy+yz+xz)=a^2,$ 用 $z$ 表成 $x,y$ 的函数
$$z=\frac{a^2-2xy}{2(x+y)}$$
再把它代人 $V=xyz$ 中，于是问题就化为求
$$V=\frac{xy}{2}\left(\frac{a^2-2xy}{x+y}\right)$$
方法(2)：拉格朗日乘子法
问题：求函数 $z=f(x,y)$ 在条件 $\phi (x,y)=0$ 下的极值。
引入拉格朗日函数 $L(x,y)=f(x,y)+\lambda \phi (x,y)$
则极值点满足： $\{\begin{array}{l}{L}_x\left(x_0,y_0\right)=0\\ L_y\left(x_0,y_0\right)=0\\ \phi \left(x_0,y_0\right)=0\end{array}$

回到之前求体积的例子，已知
$$2(xy+yz+xz)=a^2$$
拉格朗日函数可以写成
$$L(x,y,z)=xyz+\lambda \left(2xy+2yz+2xz-a^2\right)$$
求其对 $x,y,z$ 的偏导数，并使之为零，得到
$$\begin{array}{l}yz+2\lambda (y+z)=0\\ xz+2\lambda (x+z)=0\\ xy+2\lambda (y+x)=0\end{array}$$
上面三个式子在与条件等式联立，可得
$$\frac{x}{y}=\frac{x+z}{y+z},\frac{y}{z}=\frac{x+y}{x+z}$$
解得：$x=y=z=\sqrt[3]{V_0}$

5 泰勒公式

泰勒公式就是用一个多项式函数去逼近一个给定的函数(即尽量使多项式函数图像拟合给定的函数图像)。如果一个非常复杂函数，想求其某点的值，直接求无法实现，这时候可以使用泰勒公式去近似的求该值，这是泰勒公式的应用之一。泰勒公式在机器学习中主要应用于梯度迭代。
定义：设 $n$ 是一个正整数。如果定义在一个包含a的区间上的函数 $f$ 在 $a$ 点处 $n+1$ 次可导，那么对于这个区间上的任意 $x$ 都有:
$$\begin{array}{c}f(x)=\frac{f(a)}{0!}+\frac{f^{\prime }(a)}{1!}(x-a)+\frac{f^{\prime \prime }(a)}{2!}(x-a{)}^2+\cdots +\frac{f^{(n)}(a)}{n!}(x-a{)}^n+R_n(x)\\ ={\sum }_{n=0}^N\frac{f^{(n)}(a)}{n!}(x-a{)}^n+R_n(x)\end{array}$$
其中的多项式称为函数在a处的泰勒展开式, $R_n(x)$ 是泰勒公式的余项。