泰勒展开式

Reference:

1. 泰勒展开的公式怎么记忆？
2. 多元函数的泰勒展开式

NORMAL：

$\bullet e^x$：

首先，最常的是 $e^x$。这个是被打死都要记住的：
$$e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\dots +\frac{x^n}{n!}$$记忆方法是两边同时求导，要求两边都不变。
$$\begin{array}{rl}{\left(e^x\right)}^{\prime }& ={\left(\frac{1}{0!}+\frac{x}{1!}+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots \right)}^{\prime }\\ e^x& =0+1+\frac{x}{1}+\frac{x^2}{2!}+\frac{x^3}{3!}\cdots \\ & =1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots \end{array}$$同时，$e^0=1,e^x>0$。

$\bullet a^x$：

有了 $e^x$，那么就有 $a^x=e^{x\ln a}$，如果将 $x$ 换为 $x\ln a$，我们就推导出了 $a^x$ 的泰勒展开式 $\mathrm{C}$。
$$\begin{array}{rl}{a}^x& =e^{x\ln a}\\ & =1+x\ln a+\frac{(x\ln a{)}^2}{2!}+\frac{(x\ln a{)}^3}{3!}+\dots +\frac{(x\ln a{)}^n}{n!}\end{array}$$

$\bullet \sin x$：

$\sin x$ 也非常常用，可以用欧拉公式推导，但是那反而不利与记忆。
$$\sin x=x-\frac{x^3}{3!}+\frac{x^5}{5!}-\frac{x^7}{7!}+\dots +\frac{(-1{)}^n{x}^{2n+1}}{(2n+1)!}$$我们只要记住，$\sin x$ 是奇函数，只有奇数项，并且 $\sin 0=0$。同时，$x$ 的次方数和被她踩在下面的阶乘是一样的。

$\bullet \cos x$：

那 $\cos x$ 也很常用，$\cos x$ 又要怎么记忆呢?
实际上，对 $\sin x$ 求导，不就是 $\cos x$ 了吗? 同时，$\cos x$ 是偶函数，只有偶数项并且 $\cos 0=1$：
$$\begin{array}{rl}\cos x& =\frac{d(\sin x)}{dx}\\ & =1-\frac{x^2}{2!}+\frac{x^4}{4!}-\frac{x^6}{6!}+\dots +\frac{(-1{)}^n{x}^{2n}}{(2n)!}\end{array}$$

$\bullet \frac{1}{1-x}$：

那我们来看一下对数函数 $\ln (1+x)$ ?
不要急，先来看一下这个函数 $\frac{1}{1-x}$：
$$\frac{1}{1-x}=1+x+x^2+x^3+\cdots +x^n$$用等比数列就和公式证明。

$\bullet \frac{1}{1+x}$：

但是上面这公式和对数函数有什么关系? 没关系呀。但是，有了 $\frac{1}{1-x}$ 就有 $\frac{1}{1+x}$：
$$\begin{array}{rl}\frac{1}{1+x}& =\frac{1}{1-(-x)}\\ & =1-x+x^2-x^3+\cdots +(-1{)}^n{x}^n\end{array}$$

$\bullet \ln (1+x)$：

我们现在就可以来看 $\ln (1+x)$ 了，$\ln (1+x)$ 就是对 $\frac{1}{1+x}$ 积分呀!
$$\begin{array}{rl}\ln (1+x)& ={\int }_0^x\frac{1}{1+x}dx\\ & =x-\frac{x^2}{2}+\frac{x^3}{3}-\frac{x^4}{4}+\dots +\frac{(-1{)}^n{x}^{n+1}}{n+1}\end{array}$$

$\bullet \ln x$：

有了 $\ln (1+x)$，自然就有 $\ln x$：
$$\begin{array}{rl}\ln x& =\ln (1+(x-1))\\ & =(x-1)-\frac{(x-1{)}^2}{2}+\frac{(x-1{)}^3}{3}-\frac{(x-1{)}^4}{4}+\cdots +\frac{(-1{)}^n(x-1{)}^{n+1}}{n+1}\end{array}$$

$\bullet (1+x{)}^{\alpha }$：

$$(1+x{)}^{\alpha }=1+\alpha x+\frac{\alpha (\alpha -1)x^2}{2!}+\frac{\alpha (\alpha -1)(\alpha -2)x^3}{3!}+\cdots +\frac{\alpha (\alpha -1)\cdots (\alpha -n+1)x^n}{n!}$$这个好记，如果 $\alpha$ 为正整数，就是二项式定理。这里只不过拓展了应用范围而已。

   \;

FOR MATRIX：

其实公式上和常规版本是一样的，将 $1$ 的位置替换成 $\mathbf{I}$ 即可。

$\bullet \exp (\mathbf{A})$：

任意矩阵的指数映射可以写成一个泰勒展开，但是只有在收敛的情况下才会有结果，其结果仍是一个矩阵：
$$\exp (\mathbf{A})=\sum _{n=0}^{\infty }\frac{1}{n!}{\mathbf{A}}^n.$$

$\bullet \exp ({\mathbf{\varphi }}^{\wedge })$：

同样地，对 $\mathfrak{so}(3)$ 中任意一元素 $\varphi$，我们亦可按此方式定义它的指数映射：
$$\exp \left({\mathbf{\varphi }}^{\wedge }\right)=\sum _{n=0}^{\infty }\frac{1}{n!}{\left({\mathbf{\varphi }}^{\wedge }\right)}^n$$

$\bullet \ln (\mathbf{R})$：

$$\mathbf{R}=\sum _{n=0}^{\infty }\frac{(-1{)}^n}{n+1}(\mathbf{R}-\mathbf{I}{)}^{n+1}$$

多元函数：

实际优化问题的目标函数往往比较复杂。为了使问题简化，通常将目标函数在某点附近展开为泰勒(Taylor)多项式来逼近原函数。

$\bullet$ 一元函数：

一元函数在点 $x_k$ 处的泰勒展开式为：
$$f(x)=f\left(x_k\right)+\left(x-x_k\right)f^{\prime }\left(x_k\right)+\frac{1}{2!}{\left(x-x_k\right)}^2{f}^{\prime \prime }\left(x_k\right)+o^n$$

• 把Taylor展开式写成矩阵的形式：
  $$f(\mathbf{x})=f\left({\mathbf{x}}_k\right)+{\left[\nabla f\left({\mathbf{x}}_k\right)\right]}^T\left(\mathbf{x}-{\mathbf{x}}_k\right)+\frac{1}{2!}{\left[\mathbf{x}-{\mathbf{x}}_k\right]}^{T}H\left({\mathbf{x}}_k\right)\left[\mathbf{x}-{\mathbf{x}}_k\right]+o^n$$其中：
  $$H\left({\mathbf{x}}_k\right)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f\left(x_k\right)}{\partial x_1^2}& \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f\left(x_k\right)}{\partial x_n^2}\end{array}\right]$$

$\bullet$ 二元函数：

二元函数在点 $\left(x_k,y_k\right)$ 处的泰勒展开式为：
$$\begin{array}{c}f(x,y)=f\left(x_k,y_k\right)+\left(x-x_k\right)f_x^{\prime }\left(x_k,y_k\right)+\left(y-y_k\right)f_y^{\prime }\left(x_k,y_k\right)\\ +\frac{1}{2!}{\left(x-x_k\right)}^2{f}_{xx}^{\prime \prime }\left(x_k,y_k\right)+\frac{1}{2!}\left(x-x_k\right)\left(y-y_k\right)f_{xy}^{\prime \prime }\left(x_k,y_k\right)\\ +\frac{1}{2!}\left(x-x_k\right)\left(y-y_k\right)f_{yx}^{\prime \prime }\left(x_k,y_k\right)+\frac{1}{2!}{\left(y-y_k\right)}^2{f}_{yy}^{\prime \prime }\left(x_k,y_k\right)\\ +o^n\end{array}$$

$\bullet$ 多元函数：

多元函数 $(\mathbf{n})$ 在点 $x_k$ 处的泰勒展开式为：
$$\begin{array}{c}f\left(x^1,x^2,\dots ,x^n\right)=f\left(x_k^1,x_k^2,\dots ,x_k^n\right)+{\sum }_{i=1}^n\left(x^i-x_k^i\right)f_{x^i}^{\prime }\left(x_k^1,x_k^2,\dots ,x_k^n\right)\\ +\frac{1}{2!}{\sum }_{i,j=1}^n\left(x^i-x_k^i\right)\left(x^j-x_k^j\right)f_{ij}^{\prime \prime }\left(x_k^1,x_k^2,\dots ,x_k^n\right)\\ +o^n\end{array}$$