【数学与算法】泰勒公式_线性化_雅各比矩阵_黑塞矩阵

本文的所涉及的知识点，如果有相关知识盲区，请参考：
微分方程通杀篇
如何区分线性系统与非线性系统

---

本文是观看B站视频【工程数学基础】2_线性化_泰勒级数_泰勒公式所作的笔记。

---

其中，$k$ 是第k个点，$n$是指每个点有n维。

注意，上面的 $\vec{X}$ 是向量，表示多元(即多维，或多个特征)，所以 $(\vec{X}-\overrightarrow{X_k})$ 也是向量。
公式中的：

$\nabla f(\overrightarrow{X_k})$ 是在$\overrightarrow{X_k}$点处的梯度向量。

例如某个三维点$\overrightarrow{X_k}=(x_1,x_2,x_3)$的梯度向量为 $\nabla f={\left[\begin{array}{ccc}\frac{\partial f}{\partial x_1}& \frac{\partial f}{\partial x_2}& \frac{\partial f}{\partial x_3}\end{array}\right]}^T$，是列向量，不是雅各比矩阵。

$H(X_k)$ 是在$X_k$点处的黑塞矩阵。

---

来回顾一下雅各比矩阵和黑塞矩阵：

雅各比矩阵是对多个 $f$ 分别求多个维度的偏导，或者说 $f$ 由 $f_1、f_2$ 等多个子函数构成。
例如，有3维向量 $\vec{X}=(x_1,x_2,x_3)$, $f$的两个子函数$f1$、$f2$ 都是关于 $x_1,x_2,x_3$ 的函数，
那么雅各比矩阵就是：
$$J(x_1,x_2,x_3)=\left[\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \frac{\partial f_1}{\partial x_3}\\ & & \\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \frac{\partial f_2}{\partial x_3}\end{array}\right]$$

以3维点$\overrightarrow{X_k}=(x_1,x_2,x_3)$，$n$元因变量$\vec{f}=(f_1,f_2,...,f_n)$为例，自变量$\overrightarrow{X_k}=(x_1,x_2,x_3)$有三个自变量，因变量$\vec{f}=(f_1,f_2,...,f_n)$中的每一个分量，都会随着自变量$x_1,x_2,x_3$的任意一个自变量的改变而改变：

• 当因变量$f$为一元的情况，，即$f=f(x_1,x_2,x_3)$,函数的偏导数为${\left[\begin{array}{ccc}\frac{\partial f}{\partial x_1}& \frac{\partial f}{\partial x_2}& \frac{\partial f}{\partial x_3}\end{array}\right]}^T$；
• 当因变量$f$为二元的情况，即$\vec{f}=f(x_1,x_2,x_3)=(f_1,f_2)$,函数的偏导数为：
  $$\left[\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \frac{\partial f_1}{\partial x_3}\\ & & \\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \frac{\partial f_2}{\partial x_3}\end{array}\right]$$
• 当因变量$f$为n元的情况，即$\vec{f}=f(x_1,x_2,x_3)=(f_1,f_2,...,f_n)$,函数的偏导数为：
  $$\left[\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \frac{\partial f_1}{\partial x_3}\\ & & \\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \frac{\partial f_2}{\partial x_3}\\ & & \\ ...& ...& ...\\ & & \\ \frac{\partial f_n}{\partial x_1}& \frac{\partial f_n}{\partial x_2}& \frac{\partial f_n}{\partial x_3}\end{array}\right]$$
  

总结一下，雅各比矩阵和黑塞矩阵的关系就是：

• 对一个函数$f$求各个自变量$x_1,,x_2,...,x_n$的一阶偏导数，得到的是一个向量$f^{\prime }={\left[\begin{array}{ccc}\frac{\partial f}{\partial x_1}& \frac{\partial f}{\partial x_2}& \frac{\partial f}{\partial x_3}\end{array}\right]}^T$，他就是梯度向量；

• 然后把这个向量$f^{\prime }$的每个元素$\frac{\partial f}{\partial x_1}、\frac{\partial f}{\partial x_2}、\frac{\partial f}{\partial x_3}$，都分别看成是一个函数(即因变量)，对每个因变量$\frac{\partial f}{\partial x_1}、\frac{\partial f}{\partial x_2}、\frac{\partial f}{\partial x_3}$分别再求每个自变量$x_1,,x_2,...,x_n$的一阶偏导数，也就是对 $f$ 求二阶导数，这一步就是对 $f^{\prime }$ 求雅克比矩阵的操作，得到的结果就是黑塞矩阵。

也就是说，雅克比矩阵必须是多个函数对每个自变量的一阶偏导得到的才叫雅克比矩阵。如果你只有一个函数，那么你对多个自变量求出来的一阶偏导叫梯度向量。对一个函数的每个自变量求二阶偏导数，就变成了黑塞矩阵。

一句话来讲，黑塞矩阵是由只有一个因变量、多个自变量的函数对每个自变量的二阶偏导数组成的方阵。也可以理解为一阶导数向量的雅克比矩阵。

---

$线性化都符合叠加原理。$
$$\dot{x}=f(x)$$
$$\{\begin{array}{l}(1)x_1,x_2是解；\\ \\ (2)x_3=k_1{x}_1+k_2{x}_2,（k_1,k_2是常数）\\ \\ (3)x_3是解。\end{array}$$
一个系统如果符合上面的三个条件，那么他就是线性系统。

例如：
$\ddot{x}+2\dot{x}+\sqrt{2}x=0$ 是线性系统
$\ddot{x}+2\dot{x}+\sqrt{2}{x}^2=0$ ,由于有平方项，所以不是线性系统
$\ddot{x}+sin(\dot{x})+\sqrt{2}x=0$ 由于有正弦项，所以不是线性系统。

线性系统是没有截距的，线性系统要满足比例性和叠加性。

---

1.使用泰勒级数 线性化：

泰勒级数展开式如下：

$$f(x)=f(x_0)+\frac{f^{\prime }(x_0)}{1!}(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2!}(x-x_0{)}^2+...+\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n$$
$x_0$是任取的一点,泰勒级数，就是在这一点附近展开。
如果$(x-x_0)$趋近于0，那么$(x-x_0{)}^2$以及$(x-x_0{)}^n$都趋近于0，
那么就有：
$$f(x)=f(x_0)+\frac{f^{\prime }(x_0)}{1!}(x-x_0)$$
上式中，$x_0$、$f(x_0)$和$f^{\prime }(x_0)$都是常数，因此，上式可以展开并写成如下形式：
$$\begin{gathered} f(x)=常数k_1+常数k_2(x-常数x_0) \\ =k_1+k_2(x-x_0) \\ =k1+k_{2}x-k_2{x}_0 \\ =kx+b \end{gathered}$$
即：$$f(x)=kx+b$$
这样就把$f(x)$线性化了。
注意，这里只是把$f(x)$线性化了，并非说$f(x)$是线性系统，它有截距b，不满足叠加原理。

---

2.泰勒级数线性化 实例：

例如：$$f(x)=sin(x)$$
把$f(x)$在 $x_0$ 处展开，得到
$$f(x)=sin(x_0)+cos(x_0)(x-x_0)$$
当$x_0=0$时，
$$f(x)=0+(x-0)=x$$
此时，如果

• 1.如果取$x=\frac{\pi }{6}$, 那么实际值$f(\frac{\pi }{6})=sin(\frac{\pi }{6})=0.5$
  
  泰勒展开式求得的近似值：$\frac{\pi }{6}=\frac{3.14}{6}=0.52$
  
  误差：$\frac{0.52-0.5}{0.5}\ast 100\%=4\%$
• 2.如果取$x=\frac{\pi }{4}$, 那么实际值$f(\frac{\pi }{4})=sin(\frac{\pi }{4})=0.707$
  
  泰勒展开式求得的近似值：$\frac{\pi }{4}=\frac{3.14}{4}=0.785$
  
  误差：$\frac{0.785-0.707}{0.707}\ast 100\%=11\%$

上面的两种情况都是$f(x)$在$x_0=0$处泰勒级数展开,由于忽略了后面的很多级数$(x-x_0{)}^n$，所以是有误差的。并且，由于$\frac{\pi }{6}$比$\frac{\pi }{4}$更接近0，因此，当$x=\frac{\pi }{6}$时，$f(x)$的取值相对更准确。

你可以想象一下，你把$f(x)$在$x_0=0$处泰勒展开，那么$x=0.1$时用泰勒级数求得的近似值$f(0.1)$当然比$x=1$时用泰勒级数求得的近似值$f(1)$更加准确。

结论：

$线性化是在某一点附近的线性化，并不是全局的线性化。$

---

$$\ddot{x}+\dot{x}+\frac{1}{x}=1\text{\hspace{1em}(1)}$$
把上式在平衡点附近线性化。
平衡点就是$x$所有的微分都为0的点:
$$\ddot{x}=\dot{x}=0\text{\hspace{1em}(2)}$$

3.一维空间的情况：

如果 $x$ 是一维的话，(2)化简为$$\frac{1}{x}=1$$
解得$$x=1$$
所以平衡点就是$x_0=1$的这个点。
（zhz:线性化应该可以任意选择在某一点进行。选在平衡点线性化可以消除常数项，构造标准的状态方程。）

要在$x_0=1$附近线性化：

那么在$x_0=1$的邻域内的一点，用 $x_{\delta }=x_0+x_d$ 表示， 其中 $x_d$ 是一个很小的值。

(zhz:我们之所以要整出来一个$x_{\delta }$是因为$x$符号已经被占用了,为避免混淆，才用$x_{\delta }$代替我们一直用到的$x$表示。)

把$x_{\delta }=x_0+xd$ 代入（1）式，得到
$$\ddot{x_{\delta }}+\dot{x_{\delta }}+\frac{1}{x_{\delta }}=1\text{\hspace{1em}(3)}$$

我们先对里面的非线性项$\frac{1}{x_{\delta }}$进行线性化，即
$$f(x_{\delta })=\frac{1}{x_{\delta }}\text{\hspace{1em}(4)}$$
在$x_{\delta }=x_0$处进行泰勒展开
$$f(x_{\delta })=f(x_0)+f^{\prime }(x_0)(x_{\delta }-x_0)\text{\hspace{1em}(5)}$$

$f^{\prime }(x_0)$求解：$(\frac{1}{x_{\delta }}{)}^{\prime }=-\frac{1}{x_{\delta }^2}$ , 代入(5)式，得到：
$$\frac{1}{x_{\delta }}=\frac{1}{x_0}+\frac{-1}{x_0^2}{x}_d$$
把$x_0=1$代入上式，得到
$$\frac{1}{x_{\delta }}=1-x_d\text{\hspace{1em}(6)}$$
上式就是把非线性项$\frac{1}{x_{\delta }}$进行线性化的结果。

由于$x_{\delta }=x_0+x_d$ ，所以有：
$$\{\begin{array}{l}\ddot{x_{\delta }}=\ddot{x_0}+\ddot{x_d}\\ \\ \dot{x_{\delta }}=\dot{x_0}+\dot{x_d}\end{array}$$
又因为$x_0$是常数，所以
$$\{\begin{array}{l}\ddot{x_{\delta }}=\ddot{x_d}\\ \\ \dot{x_{\delta }}=\dot{x_d}\end{array}$$

把上面两个化简结果代入(3)式 $\ddot{x_{\delta }}+\dot{x_{\delta }}+\frac{1}{x_{\delta }}=1$，得到：
$$\ddot{x_d}+\dot{x_d}+\frac{1}{x_{\delta }}=1\text{\hspace{1em}(7)}$$
由于$\frac{1}{x_{\delta }}$线性化后的结果为(6)式 $\frac{1}{x_{\delta }}=1-x_d$, 代入(7)式：得到
$$\ddot{x_d}+\dot{x_d}+(1-x_d)=1$$
化简得到：
$$\ddot{x_d}+\dot{x_d}-x_d=0\text{\hspace{1em}(8)}$$
上式就是线性化后的结果。

3.二维空间的情况：

上面讲了$x$ 为一维的情况，这里来分析$x$ 为二维的情况：

$$\{\begin{array}{l}{\dot{x}}_1=f_1(x_1,x_2)\\ {\dot{x}}_2=f_2(x_1,x_2)\end{array}\text{\hspace{1em}(AAA)}$$

zhz:那么在平衡点 $x_0$的邻域内的一点，用 $x_{\delta }=x_0+x_d$ 表示， 其中 $x_d$ 是一个很小的值:
$$x_d=\left[\begin{array}{c}{x_1}_d\\ \\ {x_2}_d\end{array}\right]$$
zhz:下面的分析为什么直接是$x_d$了，而不是和一维一样，分析$x_{\delta }$ ???

它在平衡点 $x_0$ 附近可以表示为：
$$\left[\begin{array}{c}{{\dot{x}}_1}_d\\ {{\dot{x}}_2}_d\end{array}\right]={\left[\begin{array}{cc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}\\ & \\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}\end{array}\right]}_{|x=x_0}\ast \left[\begin{array}{c}{x_1}_d\\ {x_2}_d\end{array}\right]\text{\hspace{1em}(BBB)}$$

令：
$$\{\begin{array}{l}{x}_1=x\\ \\ x_2=\dot{x}\end{array}$$
(zhz:为什么要令 $x_1=x$ ?)
那么就有：
$$\{\begin{array}{l}\dot{x_1}=x_2\\ \\ \dot{x_2}=\ddot{x}\end{array}\text{\hspace{1em}(9)}$$

回看前面的(1)式，即：$\ddot{x}+\dot{x}+\frac{1}{x}=1$
把(1)式代入(9)的第二个式子，又由于 $x_1=x$, 所以：
$$\begin{gathered} \dot{x_2}=\ddot{x}=1-\frac{1}{x}-\dot{x} \\ =1-\frac{1}{x_1}-\dot{x_2} \end{gathered}$$
因此：
$$\{\begin{array}{l}\dot{x_1}=x_2\\ \\ \dot{x_2}=1-\frac{1}{x_1}-x_2\end{array}\text{\hspace{1em}(10)}$$
回看前面分析，平衡点就是$x$所有的微分都为 $0$ 的点，前面的(2)式即
$\ddot{x}=\dot{x}=0$, 所以就有：
$$\{\begin{array}{l}\dot{x_1}=0\\ \\ \dot{x_2}=0\end{array}\text{\hspace{1em}(11)}$$
因此,平衡点 $x_0=(x_{1,0},x_{2,0})$ 为：
$$\{\begin{array}{l}{x}_{1,0}=1\\ \\ x_{2,0}=0\end{array}\text{\hspace{1em}(12)}$$

由(10)式和(AAA)式，可得到：
$$\{\begin{array}{l}{f}_1=x_2\\ \\ f_2=1-\frac{1}{x_1}-x_2\end{array}\text{\hspace{1em}(13)}$$
把上面的$f_1,f_2$ 代入前面的(BBB)式：
$$\left[\begin{array}{c}{{\dot{x}}_1}_d\\ {{\dot{x}}_2}_d\end{array}\right]={\left[\begin{array}{cc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}\\ & \\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}\end{array}\right]}_{|x=x_0}\ast \left[\begin{array}{c}{x_1}_d\\ {x_2}_d\end{array}\right]\text{\hspace{1em}(BBB)}$$
并且把求解得到的平衡点(12)式的结果代入，就得到：
$$\left[\begin{array}{c}{{\dot{x}}_1}_d\\ \\ {{\dot{x}}_2}_d\end{array}\right]=\left[\begin{array}{cc}0& 1\\ & \\ 1& -1\end{array}\right]\ast \left[\begin{array}{c}{x_1}_d\\ \\ {x_2}_d\end{array}\right]\text{\hspace{1em}(14)}$$

把上式的第二项列出来，即：
$${{\dot{x}}_2}_d={x_1}_d-{x_2}_d\text{\hspace{1em}(15)}$$

上式带回去还原为：
$${\ddot{x}}_d=x_d-{\dot{x}}_d\text{\hspace{1em}(16)}$$
等式右边全部移到左边，就得到了和一维情况(8)式一样的最终结果：
$$\ddot{x_d}+\dot{x_d}-x_d=0$$