CQF笔记Primer数学基础

1 Calculus 微积分

1.1 Basic Terminology 基本术语

符号	含义	符号	含义	符号	含义
$\exists$	存在	$\to$	给定	$\equiv$	等价于
$\forall$	对所有……有	s.t.	such that	$\sim$	similar
$\therefore$	所以	:	such that	$\in$	是……的元素
$\because$	因为	iff	当且仅当	!x	有唯一的x

1.2 Functions 函数

输入到输出的映射 mapping：

• input记作x，independent variable，自变量
• output记作y，dependent variable，因变量

mapping 映射：

• 一对一
• 多对一
• 一对多（不是函数）

函数的定义：每个x映射到唯一的一个y

inverse function 逆函数

• 一对一映射的函数有反函数
• 多对一映射的函数没有反函数，限制自变量的值域，变成一对一映射

函数 $y=2x^2-1$的逆函数（限制x的取值范围为 $x\ge 0$）为
$$y=\sqrt{\frac{x+1}{2}}$$

$f(f^{-1}(x))=x$
$f^{-1}(f(x))=x$

even function偶函数和 odd function 奇函数

偶函数

• $f(-x)=f(x)$
• 沿y轴对称

奇函数

• $f(-x)=f(-x)$
• 中心对称（沿原点旋转180°）

大部分函数不是偶函数或者奇函数，但是可以表达为奇函数和偶函数之和

1.2.1 Explicit/Implicit Representation 显示/隐式表示

显示表示 $y=2x^2+4x-16=0$
隐式表示 $f(x,y)=0$

1.2.2 Types of function

Polynomials 多项式

$$f(x)=\sum _{k=0}^n{a}_k{x}^k,其中a_0,a_1,...,a_n是常数$$

• K = 1称为线性项
• K = 2称为二次项

二次多项式 $a{x}^2+bx+c=0$ 的解
$$x=\frac{-b\pm \sqrt{b^2-4ac}}{2a}$$

三种情况：

• $b^2-4ac>0\to x_1\ne x_2，两个实数根$
• $b^2-4ac=0\to x_1=x_2=-\frac{b}{2a}为实数$
• $b^2-4ac<0\to x_1\ne x_2，两个复数共轭根$

Modulus 模（绝对值）

$$f(x)=\{\begin{array}{ll}x& \text{x>0}\\ -x& \text{x<0}\end{array}$$

模函数是分段函数piecewise function

1.3 Limit 极限

研究逼近问题

$$\underset{x\to x_0}{\lim }f(x)\to l$$

同时从左边逼近和从右边逼近，应该相同逼近同一个值

普通极限

$$\begin{array}{rl}& \underset{x\to \infty }{\lim }\frac{x^2+2x+2}{3x^2+4}\\ =& \underset{x\to \infty }{\lim }\frac{1+\frac{2}{x}+\frac{2}{x^2}}{3+\frac{4}{x^2}}\\ =& \frac{1}{3}\end{array}$$

函数连续

$$\underset{x\to x_0}{\lim }f(x)=f(x_0)$$

1.3.1 exponential and log functions 指数和对数函数

$$\begin{gathered} y=a^x \\ y={\log }_{a}x \end{gathered}$$

以自然对数为底的指数函数和对数函数
$$\begin{gathered} y=e^x \\ y=lnx \\ y=logx \end{gathered}$$

$$e=\underset{n\to \infty }{\lim }(1+\frac{x}{n}{)}^n$$

正态分布的形式类似于$e^{-x^2/2}$

1.3.2 Trigonometric/Circular Functions 三角函数

sin 正弦函数

• 奇函数 $sin(-x)=-sin(x)$
• 周期函数 $sin(x+2\pi )=sin(x)$
• $sinx=0\iff x=n\pi \forall n\in Z$
• $Dom(sinx)=R$ and $Im(sinx)=[-1,1]$

cos 余弦函数

• 偶函数 $cos(-x)=cos(x)$
• 周期函数 $cos(x+2\pi )=cos(x)$
• $cos=0\iff x=(2n+1)\frac{\pi }{2}\forall n\in Z$
• $Dom(cosx)=R$ and $Im(cosx)=[-1,1]$

tan 正切函数

• 偶函数 $tan(-x)=tan(x)$
• 周期函数 $cos(x+\pi )=cos(x)$
• D o m ( t a n   x ) = { x : c o s   x ≠ 0 } = { x : x ≠ ( 2 n + 1 ) π 2 ;   ( n ∈ Z ) } = R − { x = ( 2 n + 1 ) π 2 ;   ( n ∈ Z ) } Dom(tan\ x) = \{x : cos \ x \neq 0\} = \{x : x \neq (2n + 1) \frac{\pi}{2}; \ (n \in Z) \} = R - \{x = (2n + 1) \frac{\pi}{2}; \ (n \in Z) \} Dom(tan x)={x:cos x​=0}={x:x​=(2n+1)2π​; (n∈Z)}=R−{x=(2n+1)2π​; (n∈Z)}

三角函数关系式
$$co{s}^{2}x+si{n}^{2}x=1$$

$$\begin{gathered} sin(x\pm y)=sinxcosy\mp cosxsiny \\ cos(x\pm y)=cosxcosy\mp sinxsiny \\ tan(x\pm y)=\frac{tanx\pm tany}{1\mp tanxtany} \end{gathered}$$

$$\begin{gathered} secx=\frac{1}{cosx} \\ cscx=\frac{1}{sinx} \\ cotx=\frac{1}{tanx} \end{gathered}$$

$$\begin{gathered} si{n}^{-1}x\to arcsin(x) \\ co{s}^{-1}x\to arccos(x) \\ ta{n}^{-1}x\to arctan(x) \end{gathered}$$

$$\begin{gathered} \underset{x\to 0}{\lim }sinx=0 \\ \underset{x\to 0}{\lim }\frac{sinx}{x}=1 \\ \underset{x\to 0}{\lim }|x|=0 \\ \underset{x\to 0}{\lim }\frac{|x|}{x}的左右极限分别为-1和1，因此没有极限 \end{gathered}$$

1.3.3 Hyperbolic Functions 双曲函数

$sinhx=\frac{1}{2}(e^x-e^{-x})$

• 奇函数
• $Dom(sinhx)=R$ and $Im(sinhx)=R$

$coshx=\frac{1}{2}(e^x+e^{-x})$

• 偶函数
• $Dom(coshx)=R$ and $Im(coshx)=[1,\infty )$

$tanhx=\frac{sinhx}{coshx}$

• 奇函数
• $Dom(coshx)=R$ and $Im(coshx)=(1,1)$

关系式

$$\begin{array}{rl}cos{h}^{2}x-sin{h}^{2}x& =1\\ sinh(x\pm y)& =sinhxcoshy\pm sinhxcoshy\\ consh(x\pm y)& =coshxcoshy\pm sinhxsinhy\end{array}$$

反函数

$$\begin{array}{rl}sin{h}^{-1}x& =ln\left|x+\sqrt{x^2+1}\right|\\ cos{h}^{-1}x& =ln\left|x+\sqrt{x^2-1}\right|\\ tan{h}^{-1}x& =\frac{1}{2}ln\left|\frac{1+x}{1-x}\right|\end{array}$$

1.4 Differentiation 微分

• 莱布尼兹表示
  $$\frac{df}{dx}$$
• 格朗日表示
  $$f^{\prime }(x)$$

定义

$$f^{\prime }(x)=\underset{\delta x\to 0}{\lim }\frac{f(x+\delta x)-f(x)}{\delta x}$$

上述定义式为前向微分

• 反向微分
  $$f^{\prime }(x)=\underset{\delta x\to 0}{\lim }\frac{f(x)-f(x-\delta x)}{\delta x}$$
• 中心微分
  $$f^{\prime }(x)=\underset{\delta x\to 0}{\lim }\frac{f(x+\delta x)-f(x-\delta x)}{2\delta x}$$

求微分的例子：$f(x)=x^3$

$$\begin{array}{rl}{f}^{\prime }(x)& =\underset{\delta x\to 0}{\lim }\frac{f(x+\delta x)-f(x)}{\delta x}\\ & =\underset{\delta x\to 0}{\lim }\frac{(x+\delta x{)}^3-x^3}{\delta x}\\ & =\underset{\delta x\to 0}{\lim }\frac{(x^3+3x^2\delta x+3x\delta x^2+\delta x^3)-x^3}{\delta x}\\ & =\underset{\delta x\to 0}{\lim }(3x^2+3x\delta x+\delta x^2)\\ & =3x^2\end{array}$$

常用微分

$$\begin{gathered} \frac{d}{dx}{x}^n=n{x}^{n-1} \\ \frac{d}{dx}{e}^x=e^x \\ \frac{d}{dx}{e}^{ax}=a{e}^{ax} \\ \frac{d}{dx}logx=\frac{1}{x} \\ \frac{d}{dx}sinx=cosx \\ \frac{d}{dx}cosx=-sinx \\ \frac{d}{dx}tanx=se{c}^{2}x \end{gathered}$$

Linearity 线性：

线性的定义

• $Op(c\times f(x)=c\times Op(f(x))$
• $Op(f(x)\pm g(x))=Op(f(x))\pm Op(g(x))$

两个函数加权和的微分，等于两个函数微分的加权和
$$\begin{gathered} y=\lambda f(x)+\mu g(x),\lambda 和\mu 是常量 \\ \frac{dy}{dx}=\frac{d}{dx}(\lambda f(x)+\mu g(x))=\lambda f^{\prime }(x)+\mu g^{\prime }(x) \end{gathered}$$

1.4.1 Product Rule 乘法法则

对两个函数的乘积求导数

$$y=f(x)\times g(x)⟹\frac{dy}{dx}=f^{\prime }(x)\times g(x)+f(x)\times g^{\prime }(x)$$

1.4.2 Function of a Function Rule 函数的函数法则

求函数的函数的导数：chain rule 链式求导法则

$$y=f(g(x))⟹\frac{dy}{dx}=f^{\prime }(g(x))\times g^{\prime }(x)$$

$$\frac{dy}{dx}=\frac{dy}{du}\times \frac{du}{dx}$$

1.4.3 Quotient Rule 商数法则

可以用乘法法则推导

$$\frac{f(x)}{g(x)}⟹\frac{dy}{dx}=\frac{f^{\prime }(x)\times g(x)-f(x)\times g^{\prime }(x)}{((g(x){)}^2}$$

1.4.4 Implicit Differentiation 隐式微分

$$\begin{gathered} y=a^x \\ lny=xlna \\ \frac{1}{y}\frac{dy}{dx}=lna \\ \frac{dy}{dx}=a^{x}lna \end{gathered}$$

1.4.5 Higher Derivatives 高阶导数

• n次多项式的 n+1 阶导数为0
• 不是所有函数都处处可导

1.4.6 Leibniz Rule 莱布尼兹法则

乘法法则的高阶表示（二项式）
$$D^n(uv)=\sum _{i=0}^n{C}_n^i\times D^{i}u\times D^{n-i}v,C_n^r=\frac{n!}{r!((n-r)!}$$

1.4.7 Further Limits 高阶极限

L’Hospital’s rule

$$\underset{x\to a}{\lim }\frac{f(x}{g(x)}\equiv \frac{0}{0}or\frac{\infty }{\infty }$$
对极限的上下两部分同时求导，计算极限

$$\underset{x\to a}{\lim }\frac{f(x}{g(x)}=\underset{x\to a}{\lim }\frac{f^{\prime }(x}{g^{\prime }(x)}=\dots =\underset{x\to a}{\lim }\frac{f^{(r)}(x}{g^{(r)}(x)}$$

$$\underset{x\to 0}{\lim }\frac{sinx}{x}=\underset{x\to 0}{\lim }\frac{cosx}{1}=1$$

1.5 Taylor Series 泰勒级数

多项式函数逼近原始函数，N次项的系数为N次导数

对于$f(x)=e^x$, $f^{(r)}(x)=e^x$, $f^{(r)}(0)=1$

线性近似：
截距项为1，斜率为1， $e^x\approx 1+x$

二次近似：
$$\begin{gathered} g(x)=a{x}^2+bx+c \\ {g}^{\prime }(x)=2ax+b \\ {g}^{\prime \prime }(x)=2a \end{gathered}$$
令 $$g(0)=f(0),g^{\prime }(0)=f^{\prime }(0),g^{\prime \prime }(0)=f^{\prime \prime }(0)$$
得到 $$c=1,b=1,a=\frac{1}{2}$$
因此 $$e^x\approx 1+x+\frac{1}{2}{x}^2$$

三次近似: $e^x\approx 1+x+\frac{1}{2}{x}^2+\frac{1}{6}{x}^3$

无穷展开：$e^x={\sum }_{n=0}^{\infty }\frac{x^n}{n!}$

泰勒级数: $f(x)$在$x_0$的泰勒展开
$$f(x)=\sum _{n=0}^{\infty }\frac{1}{n!}{f}^{(n)}(x_0)(x-x_0{)}^n$$

常用展开
$$\begin{gathered} e^x=\sum _{n=0}^{\infty }\frac{x^n}{n!} \\ log(1+x)=\sum _{n=0}^{\infty }(-1{)}^{n-1}\frac{x^n}{n!} \end{gathered}$$

泰勒定量

$$\begin{array}{rl}& f(x)=\sum _{k=0}^{n-1}\frac{1}{k!}{f}^{(k)}(x_0)(x-x_0{)}^k+R_n(x)\\ 其中& R_n(x)=\frac{1}{n!}{f}^{(n)}(\xi )(x-x_0{)}^n\\ & \xi 是介于x_0和x之间的某个未知数值\end{array}$$

用泰勒展开式计算极限
$$\begin{array}{rl}\underset{x\to 0}{\lim }\frac{sinx}{x}& \sim \underset{x\to 0}{\lim }\frac{{\sum }_{i=0}^{\infty }(-1{)}^i\frac{x^{2i+1}}{(2i+1)!}}{x}\\ & \sim \underset{x\to 0}{\lim }\sum _{i=0}^{\infty }(-1{)}^i\frac{x^{2i}}{(2i+1)!}\\ & \sim \underset{x\to 0}{\lim }(1-\frac{x^2}{3!}+\frac{x^4}{5!}+\dots )\\ & =1\end{array}$$

1.5.1 The Binomial Expansion 二项式展开

二项式展开是$(1+x{)}^n$的泰勒展开式

$$\begin{array}{rl}(1+x{)}^n& =\sum _{k=0}^n\frac{n!}{k!(n-k)!}{x}^k\\ (1+ax{)}^n& =\sum _{k=0}^n\frac{n!}{k!(n-k)!}(ax{)}^k\\ (p+ax{)}^n& =(p(1+\frac{a}{p}x){)}^n\\ & =p^n\sum _{k=0}^n\frac{n!}{k!(n-k)!}(\frac{a}{p}x{)}^k\end{array}$$

Pascal三角形：$(1+x{)}^n$，不同的n的二项式系数组成的三角形

1.6 Integration 积分

1.6.1 The Indefinite Integral 不定积分

$f(x)$的不定积分$\int f(x)dx$

$$\begin{gathered} F(x)=\int f(x)dx \\ \frac{dF(x)}{dx}=f(x) \end{gathered}$$

$y=2x$, $\frac{dy}{dx}=2$, $\int 2dx=2x+C$, 注意常数项C对x的微分为0

不定积分的例子
$$\begin{array}{rl}\int x^{n}dx& =\frac{1}{n+1}{x}^{n+1}+C,(n\ne -1)\\ \int \frac{1}{x}dx& =ln(x)+C\\ \int e^{ax}dx& =\frac{1}{a}{e}^{ax}+C\\ \int cos(ax)dx& =\frac{1}{a}sin(ax)+C\\ \int sin(ax)dx& =-\frac{1}{a}cos(ax)+C\end{array}$$

Linearity 线性：积分是线性的
$\int (\alpha f(x)+\beta g(x))dx=\alpha \int f(x)dx+\beta \int g(x)dx$

$$\begin{gathered} \int (A{x}^2+B{x}^4)dx=A\int x^{2}dx+B\int x^{3}dx=\frac{A}{3}{x}^3\frac{B}{4}{x}^4+C \\ \int (3e^x+\frac{2}{x})dx=3\int e^{x}dx+2\int \frac{1}{x}dx=3e^x+2lnx+C \end{gathered}$$

1.6.2 The Definite Integral 定积分

$f(x)$的定积分${\int }_a^{b}f(x)dx$

例子:
${\int }_{-1}^1{e}^{x}dx=e^x{|}_{-1}^1=e-\frac{1}{e}$

${\int }_a^{x}f(x)dx$ 这种表示法，容易造成混淆，应使用哑变量

${\int }_a^{c}f(x)dx={\int }_a^{b}f(x)dx+{\int }_b^{c}f(x)dx$, if $a<b<c$

${\int }_a^{c}f(x)dx=-{\int }_c^{a}f(x)dx$

1.6.3 Integration by Substitution 代换积分法/换元法

$$\int g(f(x))f^{\prime }(x)dx$$

反向使用链式法则：
令 $z=f(x)$
则$dz=f^{\prime }(x)dx可得\int g(f(x))f^{\prime }(x)dx=\int g(z)dz$

例子：${\int }_1^2{e}^{x^2}2xdx$,
令$z=x^2$,
可得${\int }_1^2{e}^{x^2}2xdx={\int }_1^4{e}^{z}dz=e^z{|}_1^4=e^4-e^1$

重要例子：${\int }_{-\infty }^{\infty }{e}^{-x^2}dx$
标准正态分布$Z(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$
标准正态分布的CDF ${\int }_{-\infty }^{\infty }Z(x)dx=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }{e}^{-\frac{s^2}{2}}ds=1$
令$x=\frac{s}{\sqrt{2}}$
可得${\int }_{-\infty }^{\infty }{e}^{-x^2}dx=\sqrt{\pi }$

奇函数和偶函数的积分：
$$\begin{array}{rl}{\int }_{-a}^{a}f(x)dx& ={\int }_{-a}^{0}f(x)dx+{\int }_0^{a}f(x)dx\\ & =-{\int }_0^{-a}f(x)dx+{\int }_0^{a}f(x)dx\\ & ={\int }_0^{a}f(-x)dx+{\int }_0^{a}f(x)dx\\ & =\{\begin{array}{ll}2{\int }_0^{a}f(x)dx& \text{f(x)是偶函数}\\ 0& \text{f(x)是奇函数}\end{array}\end{array}$$

1.6.4 Integration by Parts 分部积分法

$$\int u^{\prime }vdx$$

反向使用乘法法则
$\int u^{\prime }vdx=uv-\int u{v}^{\prime }dx+C$

分部积分法的使用场景：v是多项式函数，u是指数函数

例子：$\int x{e}^{x}dx$
令：$v=x,v^{\prime }=1,u=e^x,u^{\prime }=e^x$
得到：$\int x{e}^{x}dx=uv-\int u{v}^{\prime }dx+C=x{e}^x-\int e^x\times 1dx=e^x(x-1)+C$

弱国多项式部分的次数大于1，反复使用分部积分法直到变为0次

经典问题：$\int e^{x}sinxdx$
令$v=e^x,u^{\prime }=sinx,v^{\prime }=e^x,u=-cosx$
得到：$\int e^{x}sinxdx=-e^{x}cosx+\int e^{x}cosxdx$
令$v=e^x,u^{\prime }=cosx,v^{\prime }=e^x,u=sinx$
得到：$\int e^{x}cosxdx=e^{x}sinx-\int e^{x}sinxdx$
将上两个等式相加，消去$\int e^{x}cosxdx$项得到
$\int e^{x}sinxdx=\frac{1}{2}{e}^x(sinx-cosx)$
$\int e^{x}cosxdx=\frac{1}{2}{e}^x(sinx+cosx)$

1.6.5 Reduction Formula 约化公式

$${\int }_0^{\infty }{e}^{-t}{t}^{n}dt=I_n$$

用部分积分法逐次消去多项式项，得到$I_n=n!I_0$, 注意$e^{-t}{t}^n{|}_0^{\infty }=0$
$I_0={\int }_0^{\infty }{e}^{-t}dt=1$, $I_n=n!$
$I_n$称为Gamma函数（$\Gamma$函数）

1.6.6 Other Results 其他法则

$$\int \frac{f^{\prime }(x)}{f(x)}=ln|f(x)|+C$$
$$\int \frac{1}{a+bx}=\frac{1}{b}ln|a+bx|+C$$

Partial Fractions:部分分式分解
$$h(x)=\frac{f(x)}{g(x)}=\frac{{\sum }_{n=0}^N{a}_n{x}^n}{{\sum }_{n=0}^M{b}_n{x}^n}$$

如果N<M，则h(x)称为部分分式分解

$$\begin{gathered} \frac{c}{(x+a)(x+b)}\equiv \frac{A}{x+a}+\frac{B}{x+b} \\ c=A(x+b)+B(x+a) \end{gathered}$$
求解出A和B，得到部分分式分解

• 重复的因式：
  $$\frac{c}{(x+a{)}^2(x+b{)}^3}=\frac{A}{x+a}+\frac{B}{(x+a{)}^2}+\frac{C}{x+b}+\frac{D}{(x+b{)}^2}+\frac{E}{(x+b{)}^3}$$

• 未分解的高次项
  $$\frac{2x+1}{(x^2+3x+2)(x-1)}=\frac{Ax+B}{x^2+3x+2}+\frac{C}{x-1}$$

1.7 Complex Numbers 复数

复数的定义
$z=x+iy$ where $x,y\in R$ and $i=\sqrt{-1}$
$x$称为实部real part, $y$称为虚部imaginary part

极坐标表示形式$z=r(cos\theta +isin\theta )$
$x=rcos\theta ,y=rsin\theta ),\theta =arctan\frac{y}{x}$

共轭conjugate
$z=x+iy$和$z=x-iy$互为共轭复数

1.7.1 Arithmetic 算术运算

• 加减法：$z_1\pm z_2=(x_1\pm x_2)+i(y_1\pm y_2))$
• 乘法：$z_1\times z_2=(x_1{x}_2-y_1{y}_2)+i(x_1{y}_2+x_2{y}_1)$
• 除法：$$\frac{z_1}{z_2}=\frac{1}{x_2^2+y_2^2}((x_1{x}_2+y_1{y}_2)+i(x_1{y}_2-x_2{y}_1))$$
  除法相当于上下都乘以$z_2$的共轭复数$x_2-i{y}_2$

1.7.2 Complex Conjugate Identities 共轭复数的性质

1. 共轭的共轭 $$\overline{(\bar{z})}=z$$
2. 加法的共轭 $$\overline{(z_1+z_2)}=\overline{z_1}+\overline{z_2}$$
3. 乘积的共轭 $$\overline{(z_1\times z_2)}=\overline{z_1}\times \overline{z_2}$$
4. 共轭相加 $$\begin{gathered} z+\bar{z}=2x=2Rez \\ Rez=\frac{z+\bar{z}}{2} \end{gathered}$$
5. 共轭相减 $$\begin{gathered} z-\bar{z}=2iy=2iImz \\ Imz=\frac{z-\bar{z}}{2i} \end{gathered}$$
6. 共轭相乘 $$z\times \bar{z}=(x+iy)(x-iy)=|z{|}^2$$

1.7.3 Polar Form 极坐标形式

$$\begin{gathered} z=r(cos\theta +isin\theta )=r{e}^{i\theta } \\ {e}^{i\theta }=cos\theta +isin\theta \end{gathered}$$

极坐标形式的乘除法非常简便

Euler’s Formula 欧拉公式

可以通过泰勒级数证明$e^{i\theta }=cos\theta +isin\theta$，关键点在于 $i^2=-1$

泰勒展开式
$$\begin{array}{rl}{e}^x& =\sum _{n=0}^{\infty }\frac{x^n}{n!}\\ sinx& =\sum _{n=0}^{\infty }(-1{)}^n\frac{x^{(2n+1)}}{(2n+1)!}\\ cosx& =\sum _{n=0}^{\infty }(-1{)}^n\frac{x^{(2n)}}{(2n)!}\end{array}$$

欧拉公式的证明
$$\begin{array}{rl}{e}^{i\theta }& =\sum _{n=0}^{\infty }\frac{(i\theta {)}^n}{n!}\\ & =\sum _{n=0}^{\infty }\frac{(i\theta {)}^{(2n)}}{(2n)!}+\sum _{n=0}^{\infty }\frac{(i\theta {)}^{(2n+1)}}{(2n+1)!}\\ & =\sum _{n=0}^{\infty }\frac{i^{(2n)}{\theta }^{(2n)}}{(2n)!}+\sum _{n=0}^{\infty }\frac{i\times i^{(2n)}{\theta }^{(2n+1)}}{(2n+1)!}\\ & =\sum _{n=0}^{\infty }(-1{)}^n\frac{x^{(2n)}}{(2n)!}+i\sum _{n=0}^{\infty }(-1{)}^n\frac{x^{(2n+1)}}{(2n+1)!}\\ & =cos\theta +isin\theta \end{array}$$

用欧拉公式计算$\int e^{x}sinxdx$
$$\begin{array}{rl}\int e^{x}sinxdx& =\int e^{x}Im{e}^{ix}dx\\ & =\int Im{e}^{(1+i)x}dx\\ & =Im\frac{1}{1+i}{e}^{(1+i)x}dx\\ & =e^{x}Im\frac{1-i}{2}{e}^{ix}dx\\ & =\frac{1}{2}{e}^{x}Im(1-i)(cosx+isinx)\\ & =\frac{1}{2}{e}^x(sinx-cosx)\end{array}$$

同样的方法可以得到$$\int e^{x}sinxdx=\frac{1}{2}{e}^x(sinx+cosx)$$

1.8 Functions of Several Variables: Multivariate Calculus 多变量函数：多变量微积分

偏微分 partial derivative
对$f(x,y)$定义偏微分
$$\frac{\partial f}{\partial x}=li{m}_{\delta x\to 0}\frac{f(x+\delta x,y)-f(x,y)}{\delta x}$$
其中y保持不变（看作常量）
偏微分也记作$f_x,f_y$

高阶偏微分
$$\begin{gathered} \frac{{\partial }^{2}f}{\partial x^2}=f_{xx}=\frac{\partial }{\partial x}(\frac{\partial f}{\partial x}) \\ \frac{{\partial }^{2}f}{\partial y^2}=f_{yy}=\frac{\partial }{\partial y}(\frac{\partial f}{\partial y}) \\ \frac{{\partial }^{2}f}{\partial x\partial y}=f_{xy}=\frac{\partial }{\partial y}(\frac{\partial f}{\partial x}) \\ \frac{{\partial }^{2}f}{\partial y\partial x}=f_{yx}=\frac{\partial }{\partial x}(\frac{\partial f}{\partial y}) \end{gathered}$$

1.8.1 The Chain Rule I 链式法则I

单变量:
$$\begin{gathered} f(u),u=g(x) \\ \frac{df}{dx}=\frac{df}{du}\times \frac{du}{dx} \end{gathered}$$

多变量: 多个变量都是某个最终变量的函数
$$\begin{gathered} f(x,y),x=x(s),y=y(s) \\ \frac{df}{ds}=\frac{\partial f}{\partial x}\times \frac{dx}{ds}+\frac{\partial f}{\partial y}\times \frac{dy}{ds} \end{gathered}$$

1.8.2 The Chain Rule II 链式法则II

多变量: 多个变量都是某一组最终变量的函数
$$\begin{gathered} f(x,y),x=x(u,v),y=y(u,v) \\ \frac{df}{du}=\frac{\partial f}{\partial x}\times \frac{\partial x}{\partial u}+\frac{\partial f}{\partial y}\times \frac{\partial y}{\partial u} \end{gathered}$$

1.8.3 Taylor for two Variables 两变量泰勒展开

$f(x,t)$在$x=x_0,t=t_0$处展开

$$\begin{array}{rl}f(x)=& f(x_0,t_0)\\ & +f_x(x_0,t_0)(x-x_0)+f_t(x_0,t_0)(t-t_0)\\ & +\frac{1}{2}\left\{\begin{array}{rl}& f_{xx}(x_0,t_0)(x-x_0{)}^2\\ & +2f_{xt}(x_0,t_0)(x-x_0)(t-t_0)\\ & +f_{tt}(x_0,t_0)(t-t_0{)}^2\end{array}\right\}\\ & +\dots \end{array}$$

2 Linear Algebra 线性代数

2.1 Properties of Vectors 向量的性质

n维空间 $R_n$
n维向量
$$\vec{\mathbf{v}}=\left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right]\in R_n$$
$v_i,(i=1,2,\cdots ,n)$是向量$v$的第i个维度

2.1.1 Vector Arithmetic 向量算术

相同维度的向量和
$$\vec{\mathbf{u}}+\vec{\mathbf{v}}=\left[\begin{array}{c}{u}_1+v_1\\ u_2+v_2\\ ⋮\\ u_n+v_n\end{array}\right]$$

向量和标量的乘法

$$k\vec{\mathbf{v}}=\left[\begin{array}{c}k{v}_1\\ k{v}_2\\ ⋮\\ k{v}_n\end{array}\right]$$

向量点积

$$\vec{\mathbf{u}}.\vec{\mathbf{v}}=\sum _{i=1}^n{u}_i{v}_i$$

$$\vec{\mathbf{u}}.\vec{\mathbf{v}}=\vec{\mathbf{v}}.\vec{\mathbf{u}}$$

2.1.2 Concept of Length in $R_n$ n维空间中的向量长度

向量长度
$$\begin{gathered} |\vec{\mathbf{u}}|=\sum _{i=1}^n{u}_i^2 \\ \vec{\mathbf{u}}=|\vec{\mathbf{u}}|\widehat{\vec{\mathbf{u}}} \\ \widehat{\vec{\mathbf{u}}}=\frac{\vec{\mathbf{u}}}{|\vec{\mathbf{u}}|} \\ |\widehat{\vec{\mathbf{u}}}|=1 \end{gathered}$$

$\widehat{\vec{\mathbf{u}}}$是单位向量，反映向量的方向

向量距离
$$|\vec{\mathbf{u}}-\vec{\mathbf{v}}|=\sum _{i=1}^n(u_i-v_i{)}^2$$

向量$\vec{\mathbf{u}}$长度也叫L2 norm/欧几里得norm：$\Vert \vec{\mathbf{u}}\Vert ={\sum }_{i=1}^n{u}_i^2$

L2距离/欧几里得距离：$\Vert \vec{\mathbf{u}}-\vec{\mathbf{v}}\Vert ={\sum }_{i=1}^n(u_i-v_i{)}^2$

余弦夹角

$$\begin{gathered} \vec{\mathbf{u}}.\vec{\mathbf{v}}=|\vec{\mathbf{u}}||\vec{\mathbf{v}}|cos\theta \\ \to cos\theta =\frac{{\sum }_{i=1}^n{u}_i{v}_i}{|\vec{\mathbf{u}}||\vec{\mathbf{v}}|} \end{gathered}$$

余弦夹角可以理解为两个向量的归一化距离

向量正交：

• 两个向量的点积为0，$\vec{\mathbf{u}}.\vec{\mathbf{v}}=0$
• 向量夹角为90°

2.2 Matrices 矩阵

${\mathbf{A}}_{m\times n}$ 表示m行n列的矩阵
$$\begin{gathered} \mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right] \\ \mathbf{A}=(a_{ij})fori=1,2,\cdots ,m;j=1,2,\cdots ,n \end{gathered}$$

2.2.1 Matrix Arithmetic 矩阵算术

矩阵加法 : 对应元素相加

交换律 $\mathbf{A}+\mathbf{B}=\mathbf{B}+\mathbf{A}$

2.2.2 Matrix Multiplication 矩阵乘法

矩阵乘法：${\mathbf{C}}_{pm}={\mathbf{A}}_{pn}{\mathbf{B}}_{nm}$
A的列数和B的行数应该相同

$${\mathbf{C}}_{ij}=\overrightarrow{{\mathbf{A}}_i}.\overrightarrow{{\mathbf{B}}_j}=\sum _{k=1}^N{\mathbf{A}}_{ik}{\mathbf{B}}_{kj}$$

2.2.3 Transpose 转置

矩阵的行列交换

$$\begin{gathered} {(\mathbf{A}+\mathbf{B})}^T={\mathbf{A}}^T+{\mathbf{B}}^T \\ {({\mathbf{A}}^T)}^T=\mathbf{A} \\ {(k\mathbf{A})}^T=k{\mathbf{A}}^T \\ {(\mathbf{A}\mathbf{B})}^T={\mathbf{B}}^T{\mathbf{A}}^T \end{gathered}$$

skew symmetric matrix 斜对称矩阵 : $\mathbf{A}+{\mathbf{A}}^T=0;a_{ii}=0,a_{ij}=-a_{ji}$

2.2.4 Matrix Representation of Linear Equations 线性方程组的矩阵表达形式

线性方程组
$$\{\begin{array}{r}ax+by=p\\ cx+dy=q\end{array}$$

当$ad-bc\ne 0$时，方程组有唯一解

$$\{\begin{array}{r}x=\frac{dp-bq}{ad-bc}\\ y=\frac{aq-cp}{ad-bc}\end{array}$$

当$ad-bc=0$时，可能无解，也可能有无穷多解

矩阵表示
$$\begin{gathered} \left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\times \left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}p\\ q\end{array}\right] \\ \mathbf{A}\vec{\mathbf{x}}=\vec{\mathbf{p}} \end{gathered}$$

行列式 determinant
$$\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|=ad-bc$$

方阵行列式不为0，表示矩阵可逆

单位阵 identity matrix
$$\left|\begin{array}{ccccc}1& 0& 0& \cdots & 0\\ 0& 1& 0& \cdots & 0\\ 0& 0& 1& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & 1\end{array}\right|=ad-bc$$

$\mathbf{I}\mathbf{A}=\mathbf{A}\mathbf{I}=\mathbf{A}$

三对角矩阵(Tridiagonal Matrices)

从右到左三条对角线分别是：super、main、sub

2.3 Using Matrix Notation For Solving Linear Systems 矩阵术语

线性方程组
$$\{\begin{array}{r}ax+by+cz=p\\ dx+ey+fz=q\\ gx+hy+iz=r\end{array}$$

$$\begin{gathered} \left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]\times \left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}p\\ q\\ r\end{array}\right] \\ \mathbf{A}\vec{\mathbf{x}}=\vec{\mathbf{p}} \end{gathered}$$

$\mathbf{A}$是系数矩阵

增广矩阵 augmented matrix
$$\left[\begin{array}{cc}\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}& \begin{array}{c}p\\ q\\ r\end{array}\end{array}\right]$$

行阶梯形式 echelon form，对增广矩阵化简，对角线以下部分全部是0

矩阵行操作（对方程组的解没有影响）

• $[E{R}_1]$: 行交换
• $[E{R}_2]$: 行乘以系数k
• $[E{R}_3]$: 行加上其他行乘以系数k

通过行操作将增广矩阵变换为行阶梯形式

2.4 Matrix Inverse 逆变换

$$\mathbf{A}{\mathbf{A}}^{-1}={\mathbf{A}}^{-1}\mathbf{A}=I$$

$$\mathbf{A}\vec{\mathbf{x}}=\vec{\mathbf{p}}\to \mathbf{x}={\mathbf{A}}^{-1}\vec{\mathbf{p}}$$

$${\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)}^{-1}=\frac{1}{ad-bc}\left(\begin{array}{cc}d& -b\\ -c& a\end{array}\right),ad-bc\ne 0$$

用行列式计算逆矩阵

$$\begin{gathered} {\mathbf{A}}^{-1}=\frac{1}{|\mathbf{A}|}adj\mathbf{A} \\ adj\mathbf{A}=[(-1{)}^{i+j}|{\mathbf{M}}_{ij}|{]}^T \end{gathered}$$
$(-1{)}^{i+j}{\mathbf{M}}_{ij}$ 是行列式的余子式cofactor，从矩阵A去掉i行j列剩下的部分组成的矩阵，

行列式计算规则：

• $[E{R}_1]:R_i\leftrightarrow R_j\Rightarrow |\mathbf{A}|=-|\mathbf{A}|$
• $[E{R}_2]:R_i\leftrightarrow k{R}_i\Rightarrow |\mathbf{A}|=k|\mathbf{A}|$

2.5 Orthogonal Matrices 正交矩阵

$$\begin{gathered} \mathbf{A}{\mathbf{A}}^T={\mathbf{A}}^T\mathbf{A}=I \\ {\mathbf{A}}^{-1}={\mathbf{A}}^T \end{gathered}$$

2.6 Eigenvalues and Eigenvectors 特征值和特征向量

$$\begin{gathered} \mathbf{A}\vec{\mathbf{v}}=\lambda \vec{\mathbf{v}} \\ (\mathbf{A}-\lambda \mathbf{I})\vec{\mathbf{v}}=0 \\ det(\mathbf{A}-\lambda \mathbf{I})=0 \end{gathered}$$

2.6.1 Criteria for invertibility 可逆

• 行列式不为0
• 所有特征值都非零
• strictly diagonally dominant 严格对角占优（充分不必要）

3 Differential Equations 微分方程

3.1 Introduction 简介

两种类型

• Ordinary Differential Equation (O.D.E) 常微分方程
  $F(x,y,y^{\prime },y^{\prime \prime \prime },\cdots ,y^{(n)})=0$
  $y^4\ne y^{(4)}$

• Partial Differential Equation (PDE) 偏微分方程
  $$\frac{\partial u}{\partial t}+\frac{{\partial }^{2}u}{\partial x\partial y}+\frac{\partial u}{\partial z}+u=0$$

术语：

• order : n, 微分方程的最大阶数
• degree : r, 微分方程order的的次数(pow)

$y^{\prime \prime }+x(y^{\prime }{)}^3-xy$ 是二阶（order=2）一次（degree=1）
$y^{\prime \prime }=\sqrt{y^{\prime }+y+x}$是二阶二次方程

线性ODE:

n阶线性方程
$$\sum _{i=0}^n{a}_i(x)y^{(i)}(x)=g(x)$$
所有微分都是1次，系数是x的函数（a(x)和g(x)不要求是1次，可以是常数，但不是y的函数）

对函数$y=f(x,c_1,c_2,\cdots ,c_n)$逐次，得到n个方程，
联合n+1个方程消去$c_1,c_2,\cdots ,c_n$, 得到$f(x,y,y^{\prime },y^{\prime \prime },\cdots ,y^{(n)})=0$

反过来理解：$y=f(x,c_1,c_2,\cdots ,c_n)$是$f(x,y,y^{\prime },y^{\prime \prime },\cdots ,y^{(n)})=0$的通解

3.1.1 Initial & Boundary Value Problems 初始值问题和边界值问题

从通解得到特解

• Initial Value Problem (IVP)
  $y^{(i)}(x_0)={\alpha }_i,wherei=0,1,\cdots ,n-1$，一共n个初始值条件
  $y^{\prime \prime }+2y^{\prime }=e^x;y(\pi )=1,y^{\prime }(\pi )=2$

• Boudary Value Problem (BVP)
  $y(x_i)={\beta }_i,wherei=0,1,\cdots ,n-1$，一共n个边界值条件
  $y^{\prime \prime }+2y^{\prime }=e^x;y(0)=1,y(1)=1$

3.2 First Order Ordinary Differential Equations 一阶常微分方程

一阶ODE的一般形式 $F(x,y,y^{\prime })=0$

3.2.1 One Variable Missing 缺少一个变量

x, y, y’中，没有x或者y的方程，可以用积分求解

• 没有y
  $y^{\prime }=f(x)\to y=\int f(x)dx$

• 没有y’
  $y^{\prime }=f(y)\to x=\int \frac{1}{f(y)}dx$

3.2.2 Variable Separable 变量分离

通过积分得到通解

$y^{\prime }=g(x)h(y)\to \int \frac{1}{h(y)}dy=\int g(x)dx+c$

3.2.3 Linear Equations 线性方程

用乘法法则进行组合，通过积分求解

求解
$$\begin{array}{rl}& y^{\prime }+P(x)y=Q(x)\\ & \to R(x)y^{\prime }+R(x)P(x)y=\frac{d}{dx}(R(x)y)=R(x)Q(x)\\ & \to R(x)y=\int R(x)Q(x)dx+c\\ & \to y=\frac{1}{R(x)}(\int R(x)Q(x)dx+c)\end{array}$$
R(x)称为积分因子 Integrate Factor
$$\begin{gathered} R(x)Q(x)=R^{\prime }(x) \\ R(x)=e^{\int P(x)dx} \end{gathered}$$

3.3 Second Order ODE.s 二阶ODE

$y^{\prime \prime }=f(x,y,y^{\prime })$

3.3.1 Simplest Cases 简单情况

• 只有y’’, 没有y和y’：两次积分可以得到y
  $y^{\prime \prime }=f(x)\to y=\int \int f(x)dx$

• 没有y：用P表示y’，用P’表示y’’，求解一阶ODE得到y’’
  $y^{\prime \prime }=f(y^{\prime },x)$
  令$P=y^{\prime }\to y^{\prime \prime }=P^{\prime }=f(P,x)$
  得到一阶ODE得到P，积分得到y

• 没有y’和x：用p表示y’, 链式求导得到y’’(y)，求解一阶ODE得到p(y)
  $y^{\prime \prime }=f(y)$
  令$P=y^{\prime }\to y^{\prime \prime }=P^{\prime }=\frac{dp}{dy}\frac{dy}{dx}=p\frac{dp}{dy}=f(y)$
  得到一阶ODE的分离形式，两边积分得到f(y’, y)=0形式的一阶ODE，再次求解

• 没有x：用p表示y’, 链式求导得到y’’(y)，求解一阶ODE
  $y^{\prime \prime }=f(y^{\prime },y)$
  令$P=y^{\prime }\to y^{\prime \prime }=P^{\prime }=\frac{dp}{dy}\frac{dy}{dx}=p\frac{dp}{dy}=f(P,y)$
  得到一阶ODE的第三种形式

3.3.2 Linear ODE.s of Order at least 2 二次及二次以上ODE

n阶线性方程的一般形式
$$\sum _{i=0}^n{a}_i(x)y^{(i)}(x)=g(x)$$

n阶线性微分算子
$$\begin{gathered} D\equiv \frac{d}{dx} \\ L=\sum _{i=0}^n{a}_i{D}^i \\ Ly=g(x) \end{gathered}$$

L是线性操作符

Homogeneous
如果g(x) = 0， 则$Ly=0$称为Homogeneous

$Ly=g(x)$的通解分为两部分$y=y_c+y_p$
$y_c$称为 complimentary Function，是$Ly=0$的解
$y_p$称为Paritcular Integral，是$Ly=g(x)$的解

3.3.3 Linear ODE.s with Constant Coeffcients 常系数线性ODE

考虑Homogeneous情况: $Ly=0$
一阶 $Ly=a{y}^{\prime }+by=0$
二阶 $Ly=a{y}^{\prime \prime }+b{y}^{\prime }+cy=0$

一阶方程的解为$y=e^{\lambda x}$
可以把一阶看作二阶的一个特例：也就是一阶方程的解应该也适用于二阶
将一阶方程的解代入二阶方程：
$L(e^{\lambda x})=(a{\lambda }^2+b\lambda +c)e^{\lambda x}=0$
$⟹a{\lambda }^2+b\lambda +c=0$ 称为AUXILLIARY EQUATION (A.E)

1. $b^2-4ac>0$ :
   $$y=c_1{e}^{{\lambda }_{1}x}+c_2{e}^{{\lambda }_{2}x}$$

2. $b^2-4ac=0$ :
   除了$e^{\lambda x}$之外，$x{e}^{\lambda x}$也是一个解
   $$y=c_1{e}^{\lambda x}+c_{2}x{e}^{\lambda x}$$

3. $b^2-4ac<0$ :
   $$y=e^{px}(Acosqx+Bsinqx)$$
   p是实部，q是虚部

   • 看推导过程，要求A是实数，B是纯虚数，
   • 但是用通解代入时发现AB可以是任意数，不要求B为纯虚数
   • 由于推导过程使用的常数项$C_1,C_2$并不要求是实数，因此B可以不是纯虚数
   • 同样A也可以是虚数

3.4 General nth Order Equation n阶方程

$$\begin{gathered} Ly=\sum a_n{y}^{(n)}\equiv 0 \\ L=\sum a_n{D}^n \\ A.E.⟹\sum a_n{\lambda }^n=0 \end{gathered}$$

A.E.解的种类

1. n个不同实数解
   $$y=\sum _{i=1}^n{\beta }_i{e}^{{\lambda }_{i}x}$$

2. 有n重实数根$\lambda$
   $$y=e^{\lambda x}\sum _i^n{\alpha }_i{x}^{i-1}$$

3. 有n重共轭复数根$p\pm iq$
   $$e^{px}[(\sum _{i=1}^n{A}_i{x}^{i-1})cosqx+(\sum _{i=1}^n{B}_i{x}^{i-1})sinqx]$$

4. 以上三种情况的混合

3.5 Non-Homogeneous Case - Method of Undetermined Coefficients 非齐次

$Ly=g(x),g(x)\ne 0$

$$\begin{gathered} Ly=L(y_c+y_p) \\ =L{y}_c+L{y}_p \end{gathered}$$

通解：$y=C.F.+P.I$

齐次项$L{y}_c$的通解 $C.F$ 可以通过 A.E方程求解
非齐次项$L{y}_p$的特解 $P.I$ 可以通过以下方法求解

1. “Guesswork” - which we are interested in
2. Annihilator
3. D-operator Method

Guesswork Method，猜测

g(x)的形式：

• 多项式
  $g(x)={\sum }_{i=0}^m{p}_i{x}^i$
  假设P.I的形式为 ${\sum }_{i=0}^m{p}_i{x}^i$, 与g(x)的次数相同，代入方程求解系数，可得到 $y_p$

• 指数函数
  $g(x)=C{e}^{kx}$, 其中k不是A.E的解
  假设P.I的形式为 $A{e}^{kx}$, 代入方程求解A，可得到 $y_p$

• 三角函数
  $g(x)=Asinax+Bcosax$, 其中ia不是A.E的解
  假设特解的形式为 $Re(K{e}^{ia})$, 代入方程求解K，可得到 $y_p$（取实部）
  或者直接假设特解的形式为$Acosax+Bsinax$，求解A和B

• 以上三种的组合

3.5.1 Failure Case 不可直接求解的形式

$g(x)=C{e}^{kx}$, 其中k是A.E的根，

• 假设解为$A{e}^{kx}$，代入方程后，左边为0，无法求解
• 假设解为$A{x}^r{e}^{kx}$, r表示k是A.E的r重根（低次项已经包含齐次项通解中，不需要再求系数，也无法求解）

3.6 Linear ODE.s with Variable Coefficients - Euler Equation 可变系数的线性ODE - （柯西-）欧拉方程

Cauchy-Euler equation 柯西-欧拉方程：系数中x的次数，与微分的阶数相同
$$Ly=\sum _{i=0}^n{a}_i{x}^i{y}^{(i)}=g(x)$$

考虑二阶的情况，先求解齐次项，假设$y=x^{\lambda }$，代入方程得到
$a{\lambda }^2+(b-a)\lambda +c=0$，三种情况：

• 两个实数解: $y=A{x}^{{\lambda }_1}+B{x}^{{\lambda }_2}$
• 二重根: $y=x^{\lambda }(A+Blnx)$
• 共轭虚数根 $y=x^{\alpha }(Acos(\beta lnx)+Bsin(\beta lnx))$
  $$\begin{gathered} x^{\pm i\beta }=e^{ln(x^{\pm i\beta })}=e^{\pm i\beta lnx}=e^{\pm i\theta } \\ \theta =\beta lnx \end{gathered}$$

3.6.1 Reduction to constant coefficient 退化为常系数方程

$$\begin{gathered} 令x=e^t,t=lnx \\ {y}^{\prime }=\frac{dy}{dt}\times \frac{dt}{dx}=\frac{1}{x}\times \frac{dt}{dx} \\ {y}^{\prime \prime }=\frac{1}{x^2}(\frac{d^{2}y}{d{t}^2}-\frac{dy}{dt}) \end{gathered}$$
代入柯西-欧拉方程，刚好可以消去可变项，得到常系数方程

按常系数方程求解通解和特解，再用$t=lnx$替换

3.7 Partial Differential Equations 偏微分方程（略）

1 Probability 概率

1.1 Preliminaries 知识准备

• experiment 实验：可重复，可产生一组输出的过程
• event 事件：一个或多个输出的集合
• sample space 样本空间：所有输出的集合，记作$\Omega$

例子：掷六面色子
样本空间 Ω = { 1 , 2 , 3 , 4 , 5 , 6 } \Omega = \{1, 2, 3, 4, 5, 6\} Ω={1,2,3,4,5,6}
事件

• 掷出偶数： E 1 = { 2 , 4 , 6 } E_1 = \{2, 4, 6\} E1​={2,4,6}
• 掷出奇数： E 1 = { 1 , 3 , 5 } E_1 = \{1, 3, 5\} E1​={1,3,5}
• 掷出素数： E 1 = { 2 , 3 , 5 } E_1 = \{2, 3, 5\} E1​={2,3,5}

1.1.1 Probability Scale 概率度量

事件E发生的概率P(E)满足条件$0\le P(E)\le 1$

1.1.2 Probability of an Event 事件概率

事件E发生的概率定义为

$$P(E)=\frac{事件E发生的次数}{所有输出发生的总次数}$$

1.1.3 The Complimentary Event E’ 事件E的补集

E’表示E不发生，概率为$P(E^{\prime })=1-P(E)$

1.2 Probability Diagrams 用图表表示概率

三种表示方法

• 样本空间或二维表格
  用两个色子掷出8的概率$P(8)=\frac{5}{36}$
  

• 树型图
  4红，5黄，11蓝，每次取出后放回，取两次，取出1个红球，1个蓝球的概率
  $$\frac{4}{20}\times \frac{11}{20}+\frac{11}{20}\times \frac{4}{20}=\frac{11}{50}$$
  

• Venn Diagram 文氏图：计算并集、交集、条件概率
  

1.3 Conditional Probability 条件概率

给定事件A发生的情况下，事件B发生的概率。记作$P(B|A)$

$$\begin{gathered} P(A|B)=\frac{P(A\cap B)}{P(B)} \\ P(A\cap B)=P(A|B)\times P(B) \end{gathered}$$

Bayes’ Theorem

$$\begin{gathered} P(A\cap B)=P(B\cap A) \\ P(A|B)\times P(B)=P(B|A)\times P(A) \\ P(B|A)=\frac{P(A|B)\times P(B)}{P(A)} \end{gathered}$$

例子：10个硬币，9个普通硬币（一正一反），1个特殊硬币（两个正面），从中取出一个硬币，放5次，问题

1. 取到5个正面的概率
   取到普通硬币的概率 $P(N)=\frac{9}{10}$
   取到普通硬币后，得到正面的概率$P(H|N)=\frac{1}{2}$
   取到特殊硬币的概率 $P(S)=1-P(N)=\frac{1}{10}$
   取到特殊硬币后，得到正面的概率$P(H|S)=1$
   $$P(5Heads)=\frac{9}{10}\times (\frac{1}{2}{)}^5+\frac{1}{10}\times 1^5=\frac{41}{320}$$

2. 取到5个正面时，这个硬币是特殊硬币的概率

$$P(S|5Heads)=\frac{P(5Heads|S)\times P(S)}{P(5Heads)}=\frac{1\times \frac{1}{10}}{\frac{41}{320}}=\frac{32}{41}$$

1.4 Mutually exclusive and Independent events 互斥和独立

互斥：
$P(A\cap B)=0$
$P(A\cup B)=P(A)+P(B)$

独立：
$P(A\cap B)=P(A)\times P(B)$
$P(A|B)=P(A)$

1.5 Two famous problems

Birthday Problem：60个人中至少两个人是同一个生日的概率

所有人生日都不相同的概率 $P=\frac{365\times 364\times \cdots \times 306}{365^{60}}$
有至少两个人生日相同的概率为 $1-P=0.5$

Monty Hall Game Show：ABC三个门，其中一个里面有车，另外两个有山羊，甲随机选了一个门，主持人去掉一个有山羊的门，这时候甲应该改变选择吗？

问题的关键在于主持人知道哪个门后面有车

1.6 Random Variables 随机变量

1.6.1 Notation 术语

随机变量： $X,Y,Z$
观察变量： $x,y,z$

1.6.2 Definition 定义

值空间不一定都是数值，进行从值空间到数轴的映射

1.6.3 Types of Random variable 随机变量的种类

• 离散：值可数
• 连续：值不可数

1.7 Probability Distributions 概率分布

1.7.1 Discrete distributions 离散分布

同时掷两个色子，和的概率分布

1.7.2 Continuous Distributions 连续分布

单个值的概率分布为0$P(X=x)=0$

用PDF描述概率：Probablity Density Function
$$P(a<X<b)={\int }_a^{b}f(x)dx$$

PDF的特性：

• $f(x)\ge 0$
• ${\int }_{-\infty }^{\infty }f(x)dx=1$
• $P(a<X<b)={\int }_a^{b}f(x)dx$

1.8 Cumulative Distribution Function CDF 累积分布函数

概率累积：$F(x)=P(X\le x)$

1.8.1 Discrete Random variables

对小于x的值的概率进行累加

1.8.2 Continuous Random variables 连续随机变量

$F(x)=P(X\le x)={\int }_{-\infty }^{x}f(t)dt$

1.9 Expectation and Variance 期望和方差

期望：$E(X)=\mu$，描述分布均值
方差：$V(X)={\sigma }^2$，描述分布离散程度

1.9.1 Discrete Random variables 离散随机变量

$E(X)={\sum }_{allx}xP(X=x)$
$V(X)=E(X-E(X))=E(X^2)-(E(X){)}^2$

1.9.2 Continuous Random Variables 连续随机变量

$E(X)={\int }_{allx}xf(x)dx$
$V(X)=E[(X-E(X){)}^2]=E(X^2)-(E(X){)}^2={\int }_{allx}{x}^{2}f(x)dx-({\int }_{allx}xf(x)dx{)}^2$

1.10 Expectation Algebra 期望值的代数运算

期望是线性操作
$$\begin{gathered} E(X+a)=E(X)+a \\ E(aX)=aE(X) \\ E(X+Y)=E(X)+E(Y) \end{gathered}$$
$$\begin{gathered} V(X+a)=V(X) \\ V(aX)=a^{2}V(X) \\ V(b)=0 \end{gathered}$$

如果X和Y独立
$$\begin{gathered} E(XY)=E(X)E(Y) \\ V(X+Y)=V(X)+V(Y) \end{gathered}$$

如果不独立
$$\begin{gathered} V(X+Y)=V(X)+V(Y)+2E[(X-E(X))(Y-E(Y)] \\ Cov(X,Y)=E[(X-E(X))(Y-E(Y)] \end{gathered}$$

1.11 Moments 矩

一阶矩：$E(X)=\mu$
n阶矩：$$E(X^n)={\int }_{allx}{x}^{n}f(x)dx$$

中心距：

• 二阶中心矩：方差 $V(X)=E[(X-E(X){)}^2]={\sigma }^2$

• 三阶中心距：$E[(X-E(X){)}^3]$

• 偏度（三阶归一化中心距）：度量非对称性
  $$Skewness=\frac{E[(X-E(X)){}^3]}{{\sigma }^3}$$

• 尾度（四阶归一化中心距）：度量肥尾特性
  $$Kurtosis=\frac{E[(X-E(X)){}^4]}{{\sigma }^4}$$

  • kurtosis越大，表示尾部数据的概率分布越高（fat tail 肥尾）
  • 正态分布的kurtosis为3
  • Leptokurtic: kurtosis大于3，PDF图像呈现尖峰肥尾
  • Platykurtic: kurtosis小于3，PDF图像比较平坦

1.12 Covariance 协方差

如果X和Y独立$E(XY)=E(X)E(Y)$$

协方差：$Cov(X,Y)=E[(X-E(X))(Y-E(Y)]=E(XY)-E(X)E(Y)$

相关性：
$${\rho }_{XY}=\frac{Cov(X,Y)}{{\sigma }_X{\sigma }_Y}$$

${\rho }_{XY}$ 等于-1，负相关，反向变化，等于1，正相关，同向变化，等于0，不相关

1.13 Important Distributions 重要分布

这些概率分布适用于对不同的对象进行建模

1.13.1 Binomial Distribution 二项式分布

多次伯努利实验的累积

• 实验次数为n
• 实验之间相互独立
• 成功概率（=1的概率）为p

$$\begin{array}{rl}X& \sim B(n,p)\\ P(X=x)& =C_x^n{p}^x(1-p{)}^{n-x}\\ C_x^n& =\frac{n!}{x!(n-x)!}\\ E(X)& =np\\ V(X)& =np(1-p)\end{array}$$

1.13.2 Poisson Distribution 泊松分布

泊松分布：对违约个数进行建模

• 两个事件同时发生时，没有影响
• 事件之间相互独立
• 事件在所有时间点发生的概率相同

$$\begin{array}{rl}X& \sim Po(\lambda )\\ P(X=r)& =\frac{e^{-\lambda }{\lambda }^r}{r!},wherer=0,1,2,\cdots \\ E(X)& =\lambda \\ V(X)& =\lambda \end{array}$$

1.13.3 Normal Distribution 正态分布

正态分布时最常用连续分布

$$\begin{array}{rl}X& \sim N(\mu ,{\sigma }^2)\\ E(X)& =\mu \\ V(X)& ={\sigma }^2\\ PDF=f(x)& =\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\\ CDF=P(X\le x)& ={\int }_{-\infty }^x\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(s-\mu {)}^2}{2{\sigma }^2}}ds\\ {\int }_{-\infty }^{\infty }\frac{1}{\sigma \sqrt{2\pi }}{e}^{\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx& =1\end{array}$$

1.13.4 Standard Normal distribution 标准正态分布（z分布）

$$\begin{array}{rl}Z& \sim N(0,1)\\ E(X)& =0\\ V(X)& =1\\ PDF=f(z)& =\frac{1}{\sqrt{2\pi }}{e}^{-\frac{z^2}{2}}\\ CDF=\Phi (z)& ={\int }_{-\infty }^z\frac{1}{\sqrt{2\pi }}{e}^{-\frac{s^2}{2}}ds\\ Z& =\frac{X-\mu }{\sigma }\end{array}$$

1.13.5 Common regions 常用区间

正态分布的区间概率

区间	概率
$\pm \sigma$	68%
$\pm 2\sigma$	95%
$\pm 3\sigma$	99.8%

1.14 Central Limit Theorem 中心极限定理

$X_1,X_2,\cdots ,X_n$ 是独立同分布(independent same distribution, iid)的随机变量

样本均值$\bar{X}=\frac{{\sum }_{i=1}^n{X}_i}{n}$符合正态分布

• X的分布可以是任意分布
• 只需要很小的n就可以产生正态分布
• Total and means are quantities of interest

$$\begin{array}{rl}E(\bar{X})& =\mu \\ V(\bar{X})& ={\sigma }^2/n\\ \bar{X}& \sim N(\mu ,{\sigma }^2)\\ \frac{\bar{X}-\mu }{\sigma \sqrt{n}}& \sim N(0,1)\end{array}$$

2 Statistics 统计

2.1 Sampling 采样

采样的权重（概率）都是$\frac{1}{N}$

总体
$$\begin{array}{rl}\mu & =\frac{1}{N}\sum _{i=1}^N{x}_i\\ {\sigma }^2& =\frac{1}{N}\sum _{i=1}^N(x_i-\mu {)}^2\end{array}$$

样本
$$\begin{array}{rl}\bar{X}& =\frac{1}{n}\sum _{i=1}^n{x}_i\\ E(\bar{X})& =\mu \\ S^2& =\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2\\ E(s^2)& ={\sigma }^2\end{array}$$

2.1.1 Proof 证明

独立同分布假设可以得到 $V({\sum }_{i=1}^n{x}_i)=n{\sigma }^2$

根据中心极限定理，得到：
$$\begin{array}{rlr}E(\bar{X})& =\mu & \\ V(\bar{X})& =\frac{{\sigma }^2}{n}& \\ V(\bar{X})& =E({\bar{X}}^2)-[E(\bar{X}){]}^2⟹E({\bar{X}}^2)& =\frac{{\sigma }^2}{n}+{\mu }^2\\ 令n=1⟹E(X_i^2)& ={\sigma }^2+{\mu }^2& \\ E(S^2)& =\frac{1}{n-1}E[\sum (X_i-\bar{X}{)}^2]& \\ & =\frac{1}{n-1}E[\sum X_i^2-n{\bar{X}}^2]& \\ & =\frac{1}{n-1}\sum E(X_i^2)-n[E(\bar{X}){]}^2& \\ & =\frac{1}{n-1}(n({\sigma }^2+{\mu }^2)-n(\frac{{\sigma }^2}{n}+{\mu }^2))={\sigma }^2& \end{array}$$

2.2 Maximum Likelihood Estimation 极大似然估计 MLE

• 统计方法
• 用数据拟合模型

用观测值估计模型的参数：按照给定的数据，什么样的模型参数可能会给出这样的数据

2.2.1 Motivating example

• 先假设数据服从某个分布（带参数的分布），例如二项式分布
• 观测一组数据（独立同分布）
• 将数据代入似然函数（分布函数），求解使得似然函数取最大值的参数

求梯度得到极值对应的参数值

2.2.2 In General

$$\begin{array}{rl}l(\theta ;x_1,x_2,x_3,\cdots ,x_n)& =f(x_1,x_2,x_3,\cdots ,x_n;\theta )\\ L(\theta ;x_1,x_2,x_3,\cdots ,x_n)& =logl(\theta ;x_1,x_2,x_3,\cdots ,x_n)\end{array}$$
目标：找到使得L最大的参数$\theta$

2.2.3 Normal Distribution

估算$\mu 和\sigma$

假设

• $X\sim N(\mu ,{\sigma }^2)$, i.e. $f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$
• $x_1,x_2,x_3,\cdots ,x_n$是iid的随机采样

$$\begin{array}{rl}& L(\mu ,\sigma ;x_1,x_2,x_3,\cdots ,x_n)\\ =& logl(\mu ,\sigma ;x_1,x_2,x_3,\cdots ,x_n)\\ =& logf(x_1,x_2,x_3,\cdots ,x_n;\mu ,\sigma )\\ =& log\prod _{i=1}^{n}f(x_i;\mu ,\sigma )\\ =& \sum _{i=1}^{n}logf(x_i;\mu ,\sigma )\\ =& \sum _{i=1}^{n}log(\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}})\\ =& \sum _{i=1}^n(log(\frac{1}{\sigma \sqrt{2\pi }})-\frac{(x_i-\mu {)}^2}{2{\sigma }^2})\\ =& -\frac{n}{2}log(2\pi )-nlog(\sigma )-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2\end{array}$$

对$\mu$和$\sigma$求偏微分，得到的解为
$$\begin{array}{rl}\mu & =\frac{1}{n}\sum _{i=1}^n{x}_i\\ \sigma & =\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2\end{array}$$

2.3 Regression and Correlation 回归和相关性

2.3.1 Linear regression 线性回归

两变量 $y=ax+b$, 计算系数a和b使得回归误差最小

2.3.2 Correlation 相关系数

2.3.3 Pearson Product-Moment Correlation Coefficient

$$PMCCr=\frac{s_{xy}}{\sqrt{S_{xx}{S}_{yy}}}$$

2.3.4 Spearman’s Rank Correlation Coefficient 基于排序的相关性

2.4 Time Series 时间序列

两种方法对时间序列建模

• Simple moving average：MA 简单移动平均
• Auto Regressive ：AR 自回归

2.4.1 Moving Average