泰勒展开式
- NORMAL:
- ∙ e x \bullet \ \ e^x ∙ ex:
- ∙ a x \bullet \ \ a^x ∙ ax:
- ∙ sin x \bullet \ \ \sin x ∙ sinx:
- ∙ cos x \bullet \ \ \cos x ∙ cosx:
- ∙ 1 1 − x \bullet \ \ \frac{1}{1-x} ∙ 1−x1:
- ∙ 1 1 + x \bullet \ \ \frac{1}{1+x} ∙ 1+x1:
- ∙ ln ( 1 + x ) \bullet \ \ \ln (1+x) ∙ ln(1+x):
- ∙ ln x \bullet \ \ \ln x ∙ lnx:
- ∙ ( 1 + x ) α \bullet \ \ (1+x)^\alpha ∙ (1+x)α:
- FOR MATRIX:
- 多元函数:
Reference:
NORMAL:
∙ e x \bullet \ \ e^x ∙ ex:
首先,最常的是
e
x
e^x
ex。这个是被打死都要记住的:
e
x
=
1
+
x
+
x
2
2
!
+
x
3
3
!
+
…
+
x
n
n
!
e^x=1+x+\frac{x^2}{2 !}+\frac{x^3}{3 !}+\ldots+\frac{x^n}{n !}
ex=1+x+2!x2+3!x3+…+n!xn记忆方法是两边同时求导,要求两边都不变。
(
e
x
)
′
=
(
1
0
!
+
x
1
!
+
x
2
2
!
+
x
3
3
!
+
⋯
)
′
e
x
=
0
+
1
+
x
1
+
x
2
2
!
+
x
3
3
!
⋯
=
1
+
x
+
x
2
2
!
+
x
3
3
!
+
⋯
\begin{aligned} \left(e^x\right)^{\prime} & =\left(\frac{1}{0 !}+\frac{x}{1 !}+\frac{x^2}{2 !}+\frac{x^3}{3 !}+\cdots\right)^{\prime} \\ e^x & =0+1+\frac{x}{1}+\frac{x^2}{2 !}+\frac{x^3}{3 !} \cdots \\ & =1+x+\frac{x^2}{2 !}+\frac{x^3}{3 !}+\cdots \end{aligned}
(ex)′ex=(0!1+1!x+2!x2+3!x3+⋯)′=0+1+1x+2!x2+3!x3⋯=1+x+2!x2+3!x3+⋯同时,
e
0
=
1
,
e
x
>
0
e^0=1, e^x>0
e0=1,ex>0。
∙ a x \bullet \ \ a^x ∙ ax:
有了
e
x
e^x
ex,那么就有
a
x
=
e
x
ln
a
a^x=e^{x \ln a}
ax=exlna,如果将
x
x
x 换为
x
ln
a
x \ln a
xlna,我们就推导出了
a
x
a^x
ax 的泰勒展开式
C
\mathrm{C}
C。
a
x
=
e
x
ln
a
=
1
+
x
ln
a
+
(
x
ln
a
)
2
2
!
+
(
x
ln
a
)
3
3
!
+
…
+
(
x
ln
a
)
n
n
!
\begin{aligned} a^x & =e^{x \ln a} \\ & =1+x \ln a+\frac{(x \ln a)^2}{2 !}+\frac{(x \ln a)^3}{3 !}+\ldots+\frac{(x \ln a)^n}{n !} \end{aligned}
ax=exlna=1+xlna+2!(xlna)2+3!(xlna)3+…+n!(xlna)n
∙ sin x \bullet \ \ \sin x ∙ sinx:
sin
x
\sin x
sinx 也非常常用,可以用欧拉公式推导,但是那反而不利与记忆。
sin
x
=
x
−
x
3
3
!
+
x
5
5
!
−
x
7
7
!
+
…
+
(
−
1
)
n
x
2
n
+
1
(
2
n
+
1
)
!
\sin x=x-\frac{x^3}{3 !}+\frac{x^5}{5 !}-\frac{x^7}{7 !}+\ldots+\frac{(-1)^n x^{2 n+1}}{(2 n+1) !}
sinx=x−3!x3+5!x5−7!x7+…+(2n+1)!(−1)nx2n+1我们只要记住,
sin
x
\sin x
sinx 是奇函数,只有奇数项,并且
sin
0
=
0
\sin 0=0
sin0=0。同时,
x
x
x 的次方数和被她踩在下面的阶乘是一样的。
∙ cos x \bullet \ \ \cos x ∙ cosx:
那
cos
x
\cos x
cosx 也很常用,
cos
x
\cos x
cosx 又要怎么记忆呢?
实际上,对
sin
x
\sin x
sinx 求导,不就是
cos
x
\cos x
cosx 了吗? 同时,
cos
x
\cos x
cosx 是偶函数,只有偶数项并且
cos
0
=
1
\cos 0=1
cos0=1:
cos
x
=
d
(
sin
x
)
d
x
=
1
−
x
2
2
!
+
x
4
4
!
−
x
6
6
!
+
…
+
(
−
1
)
n
x
2
n
(
2
n
)
!
\begin{aligned} \cos x & =\frac{d(\sin x)}{d x} \\ & =1-\frac{x^2}{2 !}+\frac{x^4}{4 !}-\frac{x^6}{6 !}+\ldots+\frac{(-1)^n x^{2 n}}{(2 n) !} \end{aligned}
cosx=dxd(sinx)=1−2!x2+4!x4−6!x6+…+(2n)!(−1)nx2n
∙ 1 1 − x \bullet \ \ \frac{1}{1-x} ∙ 1−x1:
那我们来看一下对数函数
ln
(
1
+
x
)
\ln (1+x)
ln(1+x) ?
不要急,先来看一下这个函数
1
1
−
x
\frac{1}{1-x}
1−x1:
1
1
−
x
=
1
+
x
+
x
2
+
x
3
+
⋯
+
x
n
\frac{1}{1-x}=1+x+x^2+x^3+\cdots+x^n
1−x1=1+x+x2+x3+⋯+xn用等比数列就和公式证明。
∙ 1 1 + x \bullet \ \ \frac{1}{1+x} ∙ 1+x1:
但是上面这公式和对数函数有什么关系? 没关系呀。但是,有了
1
1
−
x
\frac{1}{1-x}
1−x1 就有
1
1
+
x
\frac{1}{1+x}
1+x1:
1
1
+
x
=
1
1
−
(
−
x
)
=
1
−
x
+
x
2
−
x
3
+
⋯
+
(
−
1
)
n
x
n
\begin{aligned} \frac{1}{1+x} & =\frac{1}{1-(-x)} \\ & =1-x+x^2-x^3+\cdots+(-1)^n x^n \end{aligned}
1+x1=1−(−x)1=1−x+x2−x3+⋯+(−1)nxn
∙ ln ( 1 + x ) \bullet \ \ \ln (1+x) ∙ ln(1+x):
我们现在就可以来看
ln
(
1
+
x
)
\ln (1+x)
ln(1+x) 了,
ln
(
1
+
x
)
\ln (1+x)
ln(1+x) 就是对
1
1
+
x
\frac{1}{1+x}
1+x1 积分呀!
ln
(
1
+
x
)
=
∫
0
x
1
1
+
x
d
x
=
x
−
x
2
2
+
x
3
3
−
x
4
4
+
…
+
(
−
1
)
n
x
n
+
1
n
+
1
\begin{aligned} \ln (1+x) & =\int_0^x \frac{1}{1+x} d x \\ & =x-\frac{x^2}{2}+\frac{x^3}{3}-\frac{x^4}{4}+\ldots+\frac{(-1)^n x^{n+1}}{n+1} \end{aligned}
ln(1+x)=∫0x1+x1dx=x−2x2+3x3−4x4+…+n+1(−1)nxn+1
∙ ln x \bullet \ \ \ln x ∙ lnx:
有了
ln
(
1
+
x
)
\ln (1+x)
ln(1+x),自然就有
ln
x
\ln x
lnx:
ln
x
=
ln
(
1
+
(
x
−
1
)
)
=
(
x
−
1
)
−
(
x
−
1
)
2
2
+
(
x
−
1
)
3
3
−
(
x
−
1
)
4
4
+
⋯
+
(
−
1
)
n
(
x
−
1
)
n
+
1
n
+
1
\begin{aligned} \ln x & =\ln (1+(x-1)) \\ & =(x-1)-\frac{(x-1)^2}{2}+\frac{(x-1)^3}{3}-\frac{(x-1)^4}{4}+\cdots+\frac{(-1)^n(x-1)^{n+1}}{n+1} \end{aligned}
lnx=ln(1+(x−1))=(x−1)−2(x−1)2+3(x−1)3−4(x−1)4+⋯+n+1(−1)n(x−1)n+1
∙ ( 1 + x ) α \bullet \ \ (1+x)^\alpha ∙ (1+x)α:
( 1 + x ) α = 1 + α x + α ( α − 1 ) x 2 2 ! + α ( α − 1 ) ( α − 2 ) x 3 3 ! + ⋯ + α ( α − 1 ) ⋯ ( α − n + 1 ) x n n ! (1+x)^\alpha=1+\alpha x+\frac{\alpha(\alpha-1) x^2}{2 !}+\frac{\alpha(\alpha-1)(\alpha-2) x^3}{3 !}+\cdots+\frac{\alpha(\alpha-1) \cdots(\alpha-n+1) x^n}{n !} (1+x)α=1+αx+2!α(α−1)x2+3!α(α−1)(α−2)x3+⋯+n!α(α−1)⋯(α−n+1)xn这个好记,如果 α \alpha α 为正整数,就是二项式定理。这里只不过拓展了应用范围而已。
\;
FOR MATRIX:
其实公式上和常规版本是一样的,将 1 1 1 的位置替换成 I \boldsymbol{I} I 即可。
∙ exp ( A ) \bullet \ \ \exp(\mathbf{A}) ∙ exp(A):
任意矩阵的指数映射可以写成一个泰勒展开,但是只有在收敛的情况下才会有结果,其结果仍是一个矩阵:
exp
(
A
)
=
∑
n
=
0
∞
1
n
!
A
n
.
\exp (\boldsymbol{A})=\sum_{n=0}^{\infty} \frac{1}{n !} \boldsymbol{A}^n .
exp(A)=n=0∑∞n!1An.
∙ exp ( ϕ ∧ ) \bullet \ \ \exp(\boldsymbol{\phi}^{\wedge}) ∙ exp(ϕ∧):
同样地,对
s
o
(
3
)
\mathfrak{s o}(3)
so(3) 中任意一元素
ϕ
\phi
ϕ,我们亦可按此方式定义它的指数映射:
exp
(
ϕ
∧
)
=
∑
n
=
0
∞
1
n
!
(
ϕ
∧
)
n
\exp \left(\boldsymbol{\phi}^{\wedge}\right)=\sum_{n=0}^{\infty} \frac{1}{n !}\left(\boldsymbol{\phi}^{\wedge}\right)^n
exp(ϕ∧)=n=0∑∞n!1(ϕ∧)n
∙ ln ( R ) \bullet \ \ \ln(\mathbf{R}) ∙ ln(R):
R = ∑ n = 0 ∞ ( − 1 ) n n + 1 ( R − I ) n + 1 \boldsymbol{R}=\sum_{n=0}^{\infty} \frac{(-1)^n}{n+1}(\boldsymbol{R}-\boldsymbol{I})^{n+1} R=n=0∑∞n+1(−1)n(R−I)n+1
多元函数:
实际优化问题的目标函数往往比较复杂。为了使问题简化,通常将目标函数在某点附近展开为泰勒(Taylor)多项式来逼近原函数。
∙ \bullet ∙ 一元函数:
一元函数在点
x
k
x_k
xk 处的泰勒展开式为:
f
(
x
)
=
f
(
x
k
)
+
(
x
−
x
k
)
f
′
(
x
k
)
+
1
2
!
(
x
−
x
k
)
2
f
′
′
(
x
k
)
+
o
n
f(x)=f\left(x_k\right)+\left(x-x_k\right) f^{\prime}\left(x_k\right)+\frac{1}{2 !}\left(x-x_k\right)^2 f^{\prime \prime}\left(x_k\right)+o^n
f(x)=f(xk)+(x−xk)f′(xk)+2!1(x−xk)2f′′(xk)+on
- 把Taylor展开式写成矩阵的形式:
f ( x ) = f ( x k ) + [ ∇ f ( x k ) ] T ( x − x k ) + 1 2 ! [ x − x k ] T H ( x k ) [ x − x k ] + o n f(\mathbf{x})=f\left(\mathbf{x}_k\right)+\left[\nabla f\left(\mathbf{x}_k\right)\right]^T\left(\mathbf{x}-\mathbf{x}_k\right)+\frac{1}{2 !}\left[\mathbf{x}-\mathbf{x}_k\right]^T H\left(\mathbf{x}_k\right)\left[\mathbf{x}-\mathbf{x}_k\right]+o^n f(x)=f(xk)+[∇f(xk)]T(x−xk)+2!1[x−xk]TH(xk)[x−xk]+on其中:
H ( x k ) = [ ∂ 2 f ( x k ) ∂ x 1 2 ∂ 2 f ( x k ) ∂ x 1 ∂ x 2 ⋯ ∂ 2 f ( x k ) ∂ x 1 ∂ x n ∂ 2 f ( x k ) ∂ x 2 ∂ x 1 ∂ 2 f ( x k ) ∂ x 2 2 ⋯ ∂ 2 f ( x k ) ∂ x 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ 2 f ( x k ) ∂ x n ∂ x 1 ∂ 2 f ( x k ) ∂ x n ∂ x 2 ⋯ ∂ 2 f ( x k ) ∂ x n 2 ] H\left(\mathbf{x}_k\right)=\left[\begin{array}{cccc} \frac{\partial^2 f\left(x_k\right)}{\partial x_1^2} & \frac{\partial^2 f\left(x_k\right)}{\partial x_1 \partial x_2} & \cdots & \frac{\partial^2 f\left(x_k\right)}{\partial x_1 \partial x_n} \\ \frac{\partial^2 f\left(x_k\right)}{\partial x_2 \partial x_1} & \frac{\partial^2 f\left(x_k\right)}{\partial x_2^2} & \cdots & \frac{\partial^2 f\left(x_k\right)}{\partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f\left(x_k\right)}{\partial x_n \partial x_1} & \frac{\partial^2 f\left(x_k\right)}{\partial x_n \partial x_2} & \cdots & \frac{\partial^2 f\left(x_k\right)}{\partial x_n^2} \end{array}\right] H(xk)= ∂x12∂2f(xk)∂x2∂x1∂2f(xk)⋮∂xn∂x1∂2f(xk)∂x1∂x2∂2f(xk)∂x22∂2f(xk)⋮∂xn∂x2∂2f(xk)⋯⋯⋱⋯∂x1∂xn∂2f(xk)∂x2∂xn∂2f(xk)⋮∂xn2∂2f(xk)
∙ \bullet ∙ 二元函数:
二元函数在点
(
x
k
,
y
k
)
\left(x_k, y_k\right)
(xk,yk) 处的泰勒展开式为:
f
(
x
,
y
)
=
f
(
x
k
,
y
k
)
+
(
x
−
x
k
)
f
x
′
(
x
k
,
y
k
)
+
(
y
−
y
k
)
f
y
′
(
x
k
,
y
k
)
+
1
2
!
(
x
−
x
k
)
2
f
x
x
′
′
(
x
k
,
y
k
)
+
1
2
!
(
x
−
x
k
)
(
y
−
y
k
)
f
x
y
′
′
(
x
k
,
y
k
)
+
1
2
!
(
x
−
x
k
)
(
y
−
y
k
)
f
y
x
′
′
(
x
k
,
y
k
)
+
1
2
!
(
y
−
y
k
)
2
f
y
y
′
′
(
x
k
,
y
k
)
+
o
n
\begin{array}{c} f(x, y)=f\left(x_k, y_k\right)+\left(x-x_k\right) f_x^{\prime}\left(x_k, y_k\right)+\left(y-y_k\right) f_y^{\prime}\left(x_k, y_k\right) \\ +\frac{1}{2 !}\left(x-x_k\right)^2 f_{x x}^{\prime \prime}\left(x_k, y_k\right)+\frac{1}{2 !}\left(x-x_k\right)\left(y-y_k\right) f_{x y}^{\prime \prime}\left(x_k, y_k\right) \\ +\frac{1}{2 !}\left(x-x_k\right)\left(y-y_k\right) f_{y x}^{\prime \prime}\left(x_k, y_k\right)+\frac{1}{2 !}\left(y-y_k\right)^2 f_{y y}^{\prime \prime}\left(x_k, y_k\right) \\ +o^n \end{array}
f(x,y)=f(xk,yk)+(x−xk)fx′(xk,yk)+(y−yk)fy′(xk,yk)+2!1(x−xk)2fxx′′(xk,yk)+2!1(x−xk)(y−yk)fxy′′(xk,yk)+2!1(x−xk)(y−yk)fyx′′(xk,yk)+2!1(y−yk)2fyy′′(xk,yk)+on
∙ \bullet ∙ 多元函数:
多元函数
(
n
)
(\mathbf{n})
(n) 在点
x
k
x_k
xk 处的泰勒展开式为:
f
(
x
1
,
x
2
,
…
,
x
n
)
=
f
(
x
k
1
,
x
k
2
,
…
,
x
k
n
)
+
∑
i
=
1
n
(
x
i
−
x
k
i
)
f
x
i
′
(
x
k
1
,
x
k
2
,
…
,
x
k
n
)
+
1
2
!
∑
i
,
j
=
1
n
(
x
i
−
x
k
i
)
(
x
j
−
x
k
j
)
f
i
j
′
′
(
x
k
1
,
x
k
2
,
…
,
x
k
n
)
+
o
n
\begin{array}{c} f\left(x^1, x^2, \ldots, x^n\right)=f\left(x_k^1, x_k^2, \ldots, x_k^n\right)+\sum_{i=1}^n\left(x^i-x_k^i\right) f_{x^i}^{\prime}\left(x_k^1, x_k^2, \ldots, x_k^n\right) \\ +\frac{1}{2 !} \sum_{i, j=1}^n\left(x^i-x_k^i\right)\left(x^j-x_k^j\right) f_{i j}^{\prime \prime}\left(x_k^1, x_k^2, \ldots, x_k^n\right) \\ +o^n \end{array}
f(x1,x2,…,xn)=f(xk1,xk2,…,xkn)+∑i=1n(xi−xki)fxi′(xk1,xk2,…,xkn)+2!1∑i,j=1n(xi−xki)(xj−xkj)fij′′(xk1,xk2,…,xkn)+on