强化学习课程学习（2）——必备数学基础集锦

---

在了解了深度学习的基本理论以后，可以开始不断的去深入了解背后的原理是什么。为什么图片能被计算机读取？为什么我们可以用CNN对成千上万中图片进行分类，这背后的原理是什么？在了解原理之前，因为无论是深度学习还是机器学习，背后都是有一些数学原理和公式推导的，所以掌握必备的数学知识必不可少，在加入百度AI Studio开展的强化学习的课程的过程中，百度大佬提供了这些以后需要用到的数学基础知识，正好罗列收藏整理下，以方便以后自己学习过程中需要的时候可以查看——

数学基础知识

数据科学需要一定的数学基础，但仅仅做应用的话，如果时间不多，不用学太深，了解基本公式即可，遇到问题再查吧。

下面是常见的一些数学基础概念，建议大家收藏后再仔细阅读，遇到不懂的概念可以直接在这里查~

高等数学

1.导数定义：

导数和微分的概念
$$f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}（1）$$
或者：
$$f^{\prime }(x_0)=\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}（2）$$
2.左右导数导数的几何意义和物理意义

函数$f(x)$在$x_0$处的左、右导数分别定义为：

左导数：
$${f^{\prime }}_{-}(x_0)=\underset{\Delta x\to 0^{-}}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}=\underset{x\to x_0^{-}}{\lim }\frac{f(x)-f(x_0)}{x-x_0},(x=x_0+\Delta x)$$
右导数：
$${f^{\prime }}_{+}(x_0)=\underset{\Delta x\to 0^{+}}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}=\underset{x\to x_0^{+}}{\lim }\frac{f(x)-f(x_0)}{x-x_0}$$
3.函数的可导性与连续性之间的关系

Th1: 函数f(x)在$x_0$处可微$\iff f(x)在x_0处可导$

Th2: $若函数在点x_0处可导，则y=f(x)在点x_0处连续，反之则不成立。即函数连续不一定可导。$

Th3:
$$f^{\prime }(x_0)存在存在\iff {f^{\prime }}_{-}(x_0)={f^{\prime }}_{+}(x_0)$$
4.平面曲线的切线和法线

切线方程 : $y-y_0=f^{\prime }(x_0)(x-x_0)$
法线方程：$y-y_0=-\frac{1}{f^{\prime }(x_0)}(x-x_0),f^{\prime }(x_0)\ne 0$

5.四则运算法则
$$\begin{gathered} 设函数，u=u(x)，v=v(x)]在点x可导则 \\ (1)(u\pm v{)}^{\prime }=u^{\prime }\pm v^{\prime }d(u\pm v)=du\pm dv \\ (2)(uv{)}^{\prime }=u{v}^{\prime }+v{u}^{\prime }d(uv)=udv+vdu \\ (3)(\frac{u}{v}{)}^{\prime }=\frac{v{u}^{\prime }-u{v}^{\prime }}{v^2}(v\ne 0)d(\frac{u}{v})=\frac{vdu-udv}{v^2} \end{gathered}$$
6.基本导数与微分表
(1)$y=c（常数）y^{\prime }=0dy=0$
(2) $y=x^{\alpha }(\alpha 为实数)y^{\prime }=\alpha x^{\alpha -1}dy=\alpha x^{\alpha -1}dx$
(3) $y=a^x{y}^{\prime }=a^x\ln ady=a^x\ln adx特例:(e^x{)}^{\prime }=e^{x}d(e^x)=e^{x}dx$

(4) $y={\log }_{a}x$ $y^{\prime }=\frac{1}{x\ln a}$

$dy=\frac{1}{x\ln a}dx$
特例:$y=\ln x$ $(\ln x{)}^{\prime }=\frac{1}{x}$ $d(\ln x)=\frac{1}{x}dx$

(5) $y=\sin x$

$y^{\prime }=\cos x$ $d(\sin x)=\cos xdx$

(6) $y=\cos x$

$y^{\prime }=-\sin xd(\cos x)=-\sin xdx$

(7) $y=\tan x$

$y^{\prime }=\frac{1}{{\cos }^{2}x}={\sec }^{2}x$ $d(\tan x)={\sec }^{2}xdx$
(8) $y=\cot x$ $y^{\prime }=-\frac{1}{{\sin }^{2}x}=-{\csc }^{2}x$ $d(\cot x)=-{\csc }^{2}xdx$
(9) $y=\sec x$ $y^{\prime }=\sec x\tan x$

$d(\sec x)=\sec x\tan xdx$
(10) $y=\csc x$ $y^{\prime }=-\csc x\cot x$

$d(\csc x)=-\csc x\cot xdx$
(11) $y=\arcsin x$

$y^{\prime }=\frac{1}{\sqrt{1-x^2}}$

$d(\arcsin x)=\frac{1}{\sqrt{1-x^2}}dx$
(12) $y=\arccos x$

$y^{\prime }=-\frac{1}{\sqrt{1-x^2}}$ $d(\arccos x)=-\frac{1}{\sqrt{1-x^2}}dx$

(13) $y=\arctan x$

$y^{\prime }=\frac{1}{1+x^2}$ $d(\arctan x)=\frac{1}{1+x^2}dx$

(14) $y=\mathrm{arc}\cot x$

$y^{\prime }=-\frac{1}{1+x^2}$

$d(\mathrm{arc}\cot x)=-\frac{1}{1+x^2}dx$
(15) $y=shx$

$y^{\prime }=chx$ $d(shx)=chxdx$

(16) $y=chx$

$y^{\prime }=shx$ $d(chx)=shxdx$

7.复合函数，反函数，隐函数以及参数方程所确定的函数的微分法

(1) 反函数的运算法则:$设y=f(x)在点x的某邻域内单调连续，在点x处可导且f^{\prime }(x)\ne 0，则其反函数在点x所对应的y处可导，并且有\frac{dy}{dx}=\frac{1}{\frac{dx}{dy}}$
(2) 复合函数的运算法则:$若\mu =\phi (x)在点x可导,而y=f(\mu )在对应点\mu (\mu =\phi (x))可导,则复合函数y=f(\phi (x))在点x可导,且y^{\prime }=f^{\prime }(\mu )\cdot {\phi }^{\prime }(x)$
(3) $隐函数导数\frac{dy}{dx}的求法一般有三种方法：1)方程两边对x求导，要记住y是x的函数，则y的函数是x的复合函数.例如\frac{1}{y}，y^2，lny，e^y等均是x的复合函数.$
对x求导应按复合函数连锁法则做.
2)公式法.由F(x,y)=0知 $\frac{dy}{dx}=-\frac{{F^{\prime }}_x(x,y)}{{F^{\prime }}_y(x,y)}其中，,其中，{F^{\prime }}_x(x,y)$，
${F^{\prime }}_y(x,y)分别表示分别表示F(x,y)对对x和和y$的偏导数
3)利用微分形式不变性

8.常用高阶导数公式

（1）$(a^x){}^{(n)}=a^x{\ln }^{n}a(a>0)(e^x){}^{(n)}=e{}^x$
（2）$(\sin kx){}^{(n)}=k^n\sin (kx+n\cdot \frac{\pi }{2})$
（3）$(\cos kx){}^{(n)}=k^n\cos (kx+n\cdot \frac{\pi }{2})$
（4）$(x^m){}^{(n)}=m(m-1)\cdots (m-n+1)x^{m-n}$
（5）$(\ln x){}^{(n)}={(-1)}^{(n-1)}\frac{(n-1)!}{x^n}$
（6）莱布尼兹公式：若$u(x),v(x)$均$n$阶可导，则
${(uv)}^{(n)}=\sum _{i=0}^n{c}_n^i{u}^{(i)}{v}^{(n-i)}$，其中$u^{(0)}=u$，$v^{(0)}=v$

9.微分中值定理，泰勒公式

Th1:(费马定理)

若函数$f(x)$满足条件：
(1)函数$f(x)$在$x_0$的某邻域内有定义，并且在此邻域内恒有
$f(x)\le f(x_0)$或$f(x)\ge f(x_0)$,

(2) $f(x)$在$x_0$处可导,则有 $f^{\prime }(x_0)=0$

Th2:(罗尔定理)

设函数$f(x)$满足条件：
(1)在闭区间$[a,b]$上连续；

(2)在$(a,b)$内可导；

(3)$f(a)=f(b)$；

则在$(a,b)$内一存在个$\xi $，使 $f^{\prime }(\xi )=0$
Th3: (拉格朗日中值定理)

设函数$f(x)$满足条件：
(1)在$[a,b]$上连续；

(2)在$(a,b)$内可导；

则在$(a,b)$内一存在个$\xi$，使 $\frac{f(b)-f(a)}{b-a}=f^{\prime }(\xi )$

Th4: (柯西中值定理)

设函数$f(x)$，$g(x)$满足条件：
(1) 在$[a,b]$上连续；

(2) 在$(a,b)$内可导且$f^{\prime }(x)$，$g^{\prime }(x)$均存在，且$g^{\prime }(x)\ne 0$

则在$(a,b)$内存在一个$\xi$，使 $\frac{f(b)-f(a)}{g(b)-g(a)}=\frac{f^{\prime }(\xi )}{g^{\prime }(\xi )}$

10.洛必达法则
法则Ⅰ ($\frac{0}{0}$型)
设函数$f\left(x\right),g\left(x\right)$满足条件：
$\underset{x\to x_0}{\lim }f\left(x\right)=0,\underset{x\to x_0}{\lim }g\left(x\right)=0$;

$f\left(x\right),g\left(x\right)$在$x_0$的邻域内可导，(在$x_0$处可除外)且$g^{\prime }\left(x\right)\ne 0$;

$\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$存在(或$\infty $)。

则:
$\underset{x\to x_0}{\lim }\frac{f\left(x\right)}{g\left(x\right)}=\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$。
法则$I^{\prime }$ ($\frac{0}{0}$型)设函数$f\left(x\right),g\left(x\right)$满足条件：
$\underset{x\to \infty }{\lim }f\left(x\right)=0,\underset{x\to \infty }{\lim }g\left(x\right)=0$;

存在一个$X>0$,当$\left|x\right|>X$时,$f\left(x\right),g\left(x\right)$可导,且$g^{\prime }\left(x\right)\ne 0$;$\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$存在(或$\infty $)。

则$\underset{x\to x_0}{\lim }\frac{f\left(x\right)}{g\left(x\right)}=\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$
法则Ⅱ( $\frac{\infty }{\infty }$ 型) 设函数 $f\left(x\right),g\left(x\right)$ 满足条件：
$\underset{x\to x_0}{\lim }f\left(x\right)=\infty ,\underset{x\to x_0}{\lim }g\left(x\right)=\infty$;
$f\left(x\right),g\left(x\right)$ 在 $x_0$ 的邻域内可导(在$x_0$处可除外)且$g^{\prime }\left(x\right)\ne 0$;$\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$ 存在(或$\infty $)。则$$\underset{x\to x_0}{\lim }\frac{f\left(x\right)}{g\left(x\right)}=\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$$ 同理法则$I{I}^{\prime }$ ( $\frac{\infty }{\infty }$ 型)仿法则 $I^{\prime }$ 可写出。

11.泰勒公式

设函数$f(x)$在点$x_0$处的某邻域内具有$n+1$阶导数，则对该邻域内异于$x_0$的任意点$x$，在$x_0$与$x$之间至少存在
一个$\xi$，使得：
$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{1}{2!}{f}^{\prime \prime }(x_0){(x-x_0)}^2+\cdots$
$+\frac{f^{(n)}(x_0)}{n!}{(x-x_0)}^n+R_n(x)$
其中 $R_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}{(x-x_0)}^{n+1}$称为$f(x)$在点$x_0$处的$n$阶泰勒余项。

令$x_0=0$，则$n$阶泰勒公式
$f(x)=f(0)+f^{\prime }(0)x+\frac{1}{2!}{f}^{\prime \prime }(0)x^2+\cdots +\frac{f^{(n)}(0)}{n!}{x}^n+R_n(x)$……(1)
其中 $R_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}{x}^{n+1}$，$\xi $在0与$x$之间.(1)式称为麦克劳林公式

常用五种函数在$x_0=0$处的泰勒公式

(1) $e^x=1+x+\frac{1}{2!}{x}^2+\cdots +\frac{1}{n!}{x}^n+\frac{x^{n+1}}{(n+1)!}{e}^{\xi }$

或 $=1+x+\frac{1}{2!}{x}^2+\cdots +\frac{1}{n!}{x}^n+o(x^n)$

(2) sin ⁡ x = x − 1 3 ! x 3 + ⋯ + x n n ! sin ⁡ n π 2 + x n + 1 ( n + 1 ) ! sin ⁡ ( ξ + n + 1 2 π ) \sin x=x-\frac{1}{3!}{ {x}^{3}}+\cdots +\frac{ { {x}^{n}}}{n!}\sin \frac{n\pi }{2}+\frac{ { {x}^{n+1}}}{(n+1)!}\sin (\xi +\frac{n+1}{2}\pi ) sinx=x−3!1​x3+⋯+n!xn​sin2nπ​+(n+1)!xn+1​sin(ξ+