数学分析

1.导数与梯度

1.1. 自然常数e

求S的值：

$$S=\frac{1}{0！}+\frac{1}{1！}+\frac{1}{2！}+\frac{1}{3！}+\frac{1}{3！}+\frac{1}{5！}+···+\frac{1}{n！}+···$$

令$f(x)=log_ax$ ,求x=1时的斜率。
$f'(x)=\frac{f(x+\bigtriangleup x) - f(x)}{\bigtriangleup x}=\frac{log_a(x+\bigtriangleup x) - log_ax}{\bigtriangleup x}=\frac{log_a(\frac{x+\bigtriangleup x}{x})}{\bigtriangleup x}=log_a(\frac{x+\bigtriangleup x}{x})^\frac{1}{\bigtriangleup x}$
x=1时，$f'(x)=log_a(1+\bigtriangleup x)^\frac{1}{\bigtriangleup x}$, 令$f'(x)=1$, 则$\lim_{\bigtriangleup x \to 0}(1+\bigtriangleup x)^\frac{1}{\bigtriangleup x} = a$
即求： $\lim_{n \to \infty}(1+\frac{1}{n})^n$

构造数列
$x_n=(1+\frac{1}{n})^n$
$=1+C_n^2\frac{1}{n^2}+C_n^3\frac{1}{n^3}+···+C_n^n\frac{1}{n^n}$
$=1+n·\frac{1}{n}+\frac{n(n-1)}{2！}·\frac{1}{n^2}+\frac{n(n-1)(n-2)}{3!}·\frac{1}{n^3}+···+\frac{n(n-1)(n-2)···1}{n!}·\frac{1}{n^n}$
$=1+1+\frac{1}{2！}·(1-\frac{1}{n})+\frac{1}{3！}·(1-\frac{1}{n})(1-\frac{2}{n})+···+\frac{1}{n!}·(1-\frac{1}{n})(1-\frac{2}{n})···(1-\frac{n-1}{n})$
<1+1+12!+13!+⋅⋅⋅+1n! <script type="math/tex" id="MathJax-Element-12"><1+1+\frac{1}{2!}+\frac{1}{3!}+···+\frac{1}{n!}</script>
<1+1+12+122+⋅⋅⋅+12n−1 <script type="math/tex" id="MathJax-Element-13"><1+1+\frac{1}{2}+\frac{1}{2^2}+···+\frac{1}{2^{n-1}}</script>
$=3-\frac{1}{2^{n-1}}$
<3 <script type="math/tex" id="MathJax-Element-15"><3</script>
因此，数列$x_n=(1+\frac{1}{n})^n$，单调递增且有上界，数列必有极限，记做$e$

$$(1+\frac{1}{n+1})^n<(1+\frac{1}{x})^x<(1+\frac{1}{n})^{n+1}$$
$\lim_{n \to \infty}(1+\frac{1}{n+1})^n=\lim_{n \to \infty}\frac{(1+\frac{1}{n+1})^{n+1}}{1+\frac{1}{n+1}}=\frac{\lim_{n \to \infty}(1+\frac{1}{n+1})^{n+1}}{\lim_{n \to \infty(1+\frac{1}{n+1})}}=\frac{e}{1+0}=e$
$\lim_{n \to \infty}(1+\frac{1}{n})^{n+1}=\lim_{n \to \infty}((1+\frac{1}{n})^n(1+\frac{1}{n}))=\lim_{n \to \infty}(1+\frac{1}{n})^n·\lim_{n \to \infty}(1+\frac{1}{n})=e·(1+0)=e$
根据两边加定理，函数$f(x)=(1+\frac{1}{x})^x的极限存在，为e$

1.2. 导数

导数是曲线的斜率，是曲线快慢的反应。
二阶导数是斜率变化快慢的反应，表征曲线的凹凸性。
根据$\lim_{n \to \infty}(1+\frac{1}{x})^x=e$可以得到函数$f(x)=\ln x$的导数。
常用函数的导数

*	*
$C'=0$	$(x^n)'=nx^{n-1}$
$(sinx)'=cosx$	$(cosx)'=-sinx$
$(a^x)'=a^x\ln a$	$(e^x)'=e^x$
$(\log_ax)'=\frac{1}{x}\log_ae$	$(\ln x)'=\frac{1}{x}$
$(u+v)'=u'+v'$	$(uv)'=u'v+uv'$

1.3. 导数的应用

1. 已知函数$f(x)=x^x,x>0$,求f(x)的最小值。
   令 $t=x^x\rightarrow \ln t=x\ln x$
   两边同时求导得：$\frac{1}{t}t'=\ln x +1$
   令$t'=0$,得$\ln x+1=0$，$x=e^{-1},t=e^{-\frac{1}{e}}$
   再对t求二阶导可得在$x=e^{-1}$处，t”>0.
   因此在$x=e^{-1}$时，f(x)有最小值$e^{-\frac{1}{e}}$
2. $N\to \infty$时，求$\ln N!$
   $\ln N!=\sum_{i=1}^N \ln N \approx \int_1^N \ln x \text{d}x=x \ln x|_1^N - \int_1^N x \text{d}\ln x=N\ln N-x|_1^N=N\ln N-N+1\approx N\ln N -N$

2.Taylor展开的应用

Taylor公式：
$f(x)=f(x_0)+f'(x_0)(x-x_0)+\frac{f''(x_o)}{2!}(x-x_0)^2+···+\frac{f^{(n)}(x_0)}{n!}(x-x_0)^n+R_n(x)$
Maclaurin公式：
$f(x)=f(0)+f'(0)x+\frac{f''(0)}{2!}x^2+···+\frac{f^{(n)}}{n!}x^n+o(x^n)$

3.方向导数与梯度

3.1.方向导数

如果函数z=f(x,y)在点P(x,y)是可微分的，那么，函数在该点沿任一方向L的方向导数都存在，且有：

$$\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}\cos \phi + \frac{\partial f}{\partial y} \sin \phi$$
其中 $\phi$是X轴到方向L的转角

3.2.梯度

设函数z=f(x,y)在平面区域D内具有一阶连续偏导数，则对于每一个点$P(x,y)\in D$,向量$(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})$ 为函数z=f(x,y)在点P的梯度，记做$grad f(x,y)$
梯度的方向是函数在该点变化最快的方向。至于原因以下这篇可以参考以下这篇博客：https://zhuanlan.zhihu.com/p/24913912

3.3.Gamma函数

$\varGamma$函数是阶乘在实数域的推广

$$\Gamma(x)=\int_0^{+\infty}t^{x-1}e^{-t}\text{d}t=(x-1)!$$

$\Gamma(x) = \int_0^{+\infty}t^{x-1}e^{-t}\text{d}t=-\int_0^{+\infty}t^{x-1}\text{d}e^{-t}$
$=-t^{x-1}e^{-t}|_0^{+\infty} + \int_0^{+\infty}(x-1)t^{x-2}e^{-t}\text{d}t$
$=0+(x-1)\int_0^{+\infty}t^{x-2}e^{-t}\text{d}t$
$=(x-1)\Gamma(x-1)$
$\Gamma(1)=\int_0^{+\infty}t^{1-1}e^{-t}\text{d}t=\int_0^{+\infty}e^{-t}\text{d}t=-e^{-t}|_0^{+\infty}=1$

4.凸函数

4.1.凸函数定义：

若函数f的定义域domf为凸集，且满足
$\forall x,y \in domf,0\leq \theta \leq 1$,$f(\theta x + (1-\theta)y) \leq \theta f(x) + (1-\theta) f(y)$

4.2.一阶可微（凸函数的充要条件）

若f一阶可微，则函数f为凸函数当前仅当f的定义域domf为凸集，且
$\forall x,y \in domf, f(y) \geq f(x) + \nabla f(x)^T(y-x)$

4.3. 二阶可微

若函数f二阶可微，则函数f为凸函数当且仅当dom为凸集，且

$$\nabla ^2f(x)\geq 0$$

• 若f是一元函数，上式表示二阶导大于等于0。
• 若f是多元函数，上式表示二阶导Hessian矩阵半正定。

$f(x,y)=3x^2+4y^2-xy$

$$\begin{cases} \frac{\partial f}{\partial x}=6x-y \\ \frac{\partial f}{\partial y}=8y-x \\ \end{cases}$$
$$\nabla f(x)=\begin{bmatrix} {6x-y}\\ {8y-x}\\ \end{bmatrix}$$
Hessian矩阵：
$$H=\begin{bmatrix} \frac{\partial^2f}{\partial x^2}&\frac{\partial^2f}{\partial x \partial y}\\ \frac{\partial^2f}{\partial y \partial x}&\frac{\partial^2f}{\partial y^2}\\ \end{bmatrix}$$
$$\nabla^2f=\begin{bmatrix} 6&-1\\ -1&8\\ \end{bmatrix}$$

正定是正数在n阶域的推广。

4.4常见凸函数

• 指数函数 $f(x)=e^{ax}$
• 幂函数 $f(x)=x^a, x \in R^+, a \geq1或a \leq 0$
• 负对数函数 $f(x)=-\ln x$
• 负熵函数 $f(x)=x \ln x$
• 范数函数 $f(\vec x)= ||x||$
• 最大值函数 $f(\vec x)=max(x_1,x_2,{\cdots},x_n)$
• 指数线性函数 $f(\vec x)=\log (e^{x_1}+e^{x_2}+{\cdots}+e^{x_n})$