深度学习基础 - 泰勒级数

深度学习基础 - 泰勒级数

flyfish

深受3Bule1Brown的影响，通俗易看的教程。

在说泰勒级数的时候，先说高阶导数
$$\begin{array}{l}s(t)\iff \text{ Displacement 位移}\\ \frac{ds}{dt}(t)\iff \text{ Velocity 速度}\\ \frac{d^{2}s}{d{t}^2}(t)\iff \text{ Acceleration 加速度}\end{array}$$
上面有2的看做二阶导数，有3的看做三阶导数.三阶导数是什么，叫Jerk，
位置矢量s对时间的一阶导数是速度Velocity
二阶导数则为加速度Acceleration,
位置矢量s的三阶导数,即加速度的变化率,称之为Jerk急动度。 如果叫加加速度是不是好记些。
位置矢量s的四阶导数是什么，用什么简短的词表达我不知道，难道是加加加速度？
$$\frac{d^{3}s}{d{t}^3}(t)\iff Jerk$$

wiki上是这么表示的（注意r上是三个点，CSDN版本的markdown没解析出来，写三个点报错）
$$\vec{ȷ}(t)=\frac{\mathrm{d}\vec{a}(t)}{\mathrm{d}t}=\dot{\vec{a}}(t)=\frac{{\mathrm{d}}^2\vec{v}(t)}{\mathrm{d}{t}^2}=\ddot{\vec{v}}(t)=\frac{{\mathrm{d}}^3\vec{r}(t)}{\mathrm{d}{t}^3}=\ddot{\vec{r}}(t)$$

$$\begin{array}{l}\vec{a}\text{ is acceleration 加速度 }\\ \vec{v}\text{ is velocity 速度, }\\ \vec{r}\text{ is position 位移 , }\\ t\text{ is time 时间. }\end{array}$$
看a,v,r上的点的个数。a上一个点，v上两个点，r上三个点。当看俄罗斯数学教材《微积分教程》菲赫金哥尔茨 写的，知道微积分的符号有多种表示方法。我看就像同一件事有的人用汉语表达，当用其他语言再表达时，看着符号都不习惯。
就看自己熟悉那种表示方法，还是wiki之前的那个容易看些，如是y上加一撇，y上加两撇，写起来更方便些。
理解高阶高数总得找个例子，高阶那就找个最低的高阶就是2。也就是加速度，以加速度来理解二阶导数

有的地方是Displacement，有的地方是position，我都写成位移了，没有区分位置，位移。位置看上去就是坐标轴上的一点，位移看上去就是一段距离
$$\underset{dx\to 0}{\underbrace{\frac{d\left(\frac{df}{dx}\right)}{dx}=\frac{d(df)}{(dx{)}^2}=\frac{d^{2}f}{d{x}^2}}}$$

上图中间表达的准确些

$$\begin{array}{l}\cos (x)\stackrel{x=0}{⟶}1\\ \frac{d(\cos )}{dx}(0)=-\sin (0)=0\\ \frac{d^2(\cos )}{d{x}^2}(0)=-\cos (0)=-1\end{array}$$

$$\begin{array}{l}P(x)=1+0x+c_2{x}^2\\ \frac{dP}{dx}(x)=0+2c_{2}x\\ \frac{d^{2}P}{d{x}^2}(x)=2c_2\end{array}$$

$$\begin{array}{l}\cos (0)=1\\ \frac{d(\cos )}{dx}(0)=-\sin (0)=0\\ \frac{d^2(\cos )}{d{x}^2}(0)=-\cos (0)=-1\\ \frac{d^3(\cos )}{d{x}^3}(0)=\sin (0)=0\\ \frac{d^4(\cos )}{d{x}^4}(0)=\cos (0)=1\end{array}$$

$$\begin{array}{rl}P(x)& =1-\frac{1}{2}{x}^2+\frac{1}{24}{x}^4\\ \frac{d^{4}P}{d{x}^4}(x)& =1\cdot 2\cdot 3\cdot 4\cdot \frac{1}{24}\\ & =24\cdot \frac{1}{24}\end{array}$$

$$P(x)=\underset{}{\underbrace{1+0\frac{x^1}{1!}+-1\frac{x^2}{2!}+0\frac{x^3}{3!}+1\frac{x^4}{4!}}}+\cdots$$
底下大括号套的部分是泰勒多项式（Taylor polynomial）

$$\begin{array}{c}f(0)\\ \frac{df}{dx}(0)\\ \frac{d^{2}f}{d{x}^2}(0)\\ \frac{d^{3}f}{d{x}^3}(0)\\ \frac{d^{4}f}{d{x}^4}(0)\end{array}$$

$$P(x)=f(0)+\frac{df}{dx}(0)\frac{x^1}{1!}+\frac{d^{2}f}{d{x}^2}(0)\frac{x^2}{2!}+\frac{d^{3}f}{d{x}^3}(0)\frac{x^3}{3!}+\cdots$$
函数f(x)在x=0处的泰勒级数
$$P(x)=f(0)+\frac{f^{\prime }(0)}{1!}x+\frac{f^{\prime \prime }(0)}{2!}{x}^2+\frac{f^{(3)}(0)}{3!}{x}^3+\cdots$$
函数f(x)在x=a处的泰勒级数
$$P(x)=f(a)+\frac{f^{\prime }(a)}{1!}(x-a)+\frac{f^{\prime \prime }(a)}{2!}(x-a{)}^2+\frac{f^{(3)}(a)}{3!}(x-a{)}^3+\cdots$$
另一种方式 sigma notation
$$\sum _{n=0}^{\infty }\frac{f^{(n)}(a)}{n!}(x-a{)}^n$$

简单看就是把各个导数用加号连接起来，如果加起来的项个数是有限的就是泰勒多项式，如果个数无限的就是泰勒级数。加号越多越精确。

就像三角函数里的级数，项越多越精确
$$\begin{array}{l}\sin x=x-\frac{x^3}{3!}+\frac{x^5}{5!}-\frac{x^7}{7!}+\dots ={\sum }_{n=0}^{\infty }\frac{(-1{)}^n{x}^{2n+1}}{(2n+1)!}\\ \cos x=1-\frac{x^2}{2!}+\frac{x^4}{4!}-\frac{x^6}{6!}+\cdots ={\sum }_{n=0}^{\infty }\frac{(-1{)}^n{x}^{2n}}{(2n)!}\end{array}$$