多元函数的泰勒展开公式

最新推荐文章于 2024-09-19 15:42:17 发布

Jie Qiao

最新推荐文章于 2024-09-19 15:42:17 发布

阅读量5.5w

点赞数 32

分类专栏：机器学习文章标签：泰勒公式数学

本文链接：https://blog.csdn.net/a358463121/article/details/80907888

版权

机器学习专栏收录该内容

12 篇文章 1 订阅

订阅专栏

泰勒定理

泰勒展开是一个很有趣的方法。应该大部分人都看过下面这么一条定理：

泰勒定理：若函数f(x)在闭区间[a,b]上存在直至n阶的连续导函数,在开区间（a,b）内存在（n+1）阶导函数，则对任意给定的 $x,x_0\in [a,b]$ ，至少存在一点 $\xi \in (a,b)$ ，使得

f (x) = + f (x 0) + f' (x 0) (x - x 0) + f '' ( x 0 ) 2 ! (x - x 0) 2 + \dots f ( n ) ( x 0 ) n ! (x - x 0) n + f ( n + 1 ) ( ξ ) ( n + 1 ) ! (x - x 0) n + 1

$\begin{aligned} f( x) = & f(x_{0} )+f\ '(x_{0} )(x-x_{0} )+\frac{f\ ''(x_{0} )}{2!} (x-x_{0} )^{2} +\cdots \\ + & \frac{f^{( n)} (x_{0} )}{n!} (x-x_{0} )^{n} +\frac{f^{( n+1)} (\xi )}{( n+1) !} (x-x_{0} )^{n+1} \end{aligned}$

他的原理也很简单，那就是，当两个函数接近的时候，那么他们在某个点的值肯定相等： $f(0)=g(0)$ ，
他们的一阶导数在一点上也应该相等 $f'(0)=g'(0)$ ，
二阶导数也应该相等 $f''(0)=g''(0)$ ，如此类推。。
那么我们能不能用一个多项式函数去逼近这么一个函数呢？而答案正是泰勒展开。

举个例子，假设f(x)是你想逼近的函数，g(x)则是它的二阶泰勒逼近，即： $g(x)=f(0)+f'(0)(x-0)+\frac{f''(0)}{2}(x-0)^2$ ，
于是显然有: g(0)=f(0)。g(x)对x求导：

g' (x) g'' (x) = f' (0) + f'' (0) (x - 0) = f'' (0) (185) (186)

$\begin{align} g'(x)&=f'(0)+f''(0)(x-0)\\ g''(x)&=f''(0) \end{align}$
因此

g′(0)=f′(0) g ′ ( 0 ) = f ′ ( 0 ) $g'(0)=f'(0)$ ,

g′′(0)=f′′(0) g ″ ( 0 ) = f ″ ( 0 ) $g''(0)=f''(0)$
当级数趋于无穷的时候就能近似任意的函数了。
盗个图：
这里写图片描述

f (x + y) \approx f (x) + f' (ξ) y

$f(x+y)\approx f(x)+f'(\xi)y$

多元函数的泰勒展开

多元函数的泰勒近似的原理也是类似的，只不过在多元函数中，我们要求的两个函数值相同，变成了有多个点： $f(a,b)=g(a,b)$ , $Df(a,b)=Dg(a,b)$ , $Hf(a,b)=Hg(a,b)$ ，这里的Df(a,b)是导数矩阵，Hf(a,b)是黑塞矩阵(二阶导)，于是多元函数的泰勒展开公式就变成：

f (x) \approx f (a) + D f (a) (x - a) + 1 2 (x - a) T H f (a) (x - a) .

$\begin{align*} f(\textbf{x}) &\approx f(\textbf{a}) + Df(\textbf{a}) (\textbf{x}-\textbf{a}) + \frac{1}{2} (\textbf{x}-\textbf{a})^T Hf(\textbf{a}) (\textbf{x}-\textbf{a}). \end{align*}$

其中

D f (a, b) = [\partial f x 1 (a, b), \partial f x 2 (a, b)] .

$\begin{align*} Df(a,b) = \left[\frac{\partial f}{x_1}(a,b), \frac{\partial f}{x_2}(a,b)\right]. \end{align*}$

H f = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ \partial 2 f \partial x 2 1 (a, b) \partial 2 f \partial x 2 \partial x 1 (a, b) \partial 2 f \partial x 1 \partial x 2 (a, b) \partial 2 f \partial x 2 2 (a, b) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\mathbf{H} f=\begin{bmatrix} \dfrac{\partial ^{2} f}{\partial x^{2}_{1}}( a,b) & \dfrac{\partial ^{2} f}{\partial x_{1} \ \partial x_{2}}( a,b)\\ \dfrac{\partial ^{2} f}{\partial x_{2} \ \partial x_{1}}( a,b) & \dfrac{\partial ^{2} f}{\partial x^{2}_{2}}( a,b) \end{bmatrix}$

举个例子，一个二元函数f(x,y)在点(a,b)上的的泰勒展开式为：

f (x, y) \approx + = + + f (a, b) + [\partial f x (a, b), \partial f y (a, b)] [x - a y - b] 1 2 [x - a y - b] ⎡ ⎣ ⎢ ⎢ ⎢ \partial 2 f \partial x 2 (a, b) \partial 2 f \partial y \partial x (a, b) \partial 2 f \partial x \partial y (a, b) \partial 2 f \partial y 2 (a, b) ⎤ ⎦ ⎥ ⎥ ⎥ [x - a y - b] f (a, b) + (x - a) f' x (a, b) + (y - b) f' y (a, b) 1 2 ! (x - a) 2 f'' x x (a, b) + 1 2 ! (x - a) (y - b) f'' x y (a, b) 1 2 ! (x - a) (y - b) f'' y x (a, b) + 1 2 ! (y - b) 2 f'' y y (a, b)

$\begin{aligned} f(x,y)\approx & f(a,b)+\left[\frac{\partial f}{x} (a,b),\frac{\partial f}{y} (a,b)\right]\begin{bmatrix} x-a\\ y-b \end{bmatrix}\\ + &\frac{1}{2} \begin{bmatrix} x-a & y-b \end{bmatrix}\begin{bmatrix} \dfrac{\partial ^{2} f}{\partial x^{2}}( a,b) & \dfrac{\partial ^{2} f}{\partial x \ \partial y}( a,b)\\ \dfrac{\partial ^{2} f}{\partial y \ \partial x}( a,b) & \dfrac{\partial ^{2} f}{\partial y^{2}}( a,b) \end{bmatrix}\begin{bmatrix} x-a\\ y-b \end{bmatrix}\\ = & f(a,b)+(x-a)f'_{x} (a,b)+(y-b)f'_{y} (a,b)\\ + & \frac{1}{2!} (x-a)^{2} f''_{xx} (a,b)+\frac{1}{2!} (x-a)(y-b)f''_{xy} (a,b)\\ + & \frac{1}{2!} (x-a)(y-b)f''_{yx} (a,b)+\frac{1}{2!} (y-b)^{2} f''_{yy} (a,b) \end{aligned}$

黑塞矩阵更一般的形式可以写成：

H f (x 1, x 2, . . ., x n) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial 2 f \partial x 2 1 \partial 2 f \partial x 2 \partial x 1 ⋮ \partial 2 f \partial x n \partial x 1 \partial 2 f \partial x 1 \partial x 2 \partial 2 f \partial x 2 2 ⋮ \partial 2 f \partial x n \partial x 2 \dots \dots ⋱ \dots \partial 2 f \partial x 1 \partial x n \partial 2 f \partial x 2 \partial x n ⋮ \partial 2 f \partial x 2 n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ .

${\mathbf Hf(x_1,x_2,...,x_n)}={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}.$