自动化所夏令营数学概念复习

　高等数学

凹凸函数

对于函数f(x),如果对于任意的 $x_1$, $x_2$,和 $\lambda \in(0.1)$都满足
$$f(\lambda x_1+(1-\lambda)x_2)<\lambda f(x_1)+(1-\lambda) f(x_2)$$
称为f(x)为凹函数。反之凸函数

极值

在函数某个域上取得最大值或者最小值的点的函数值称为极值。而这个点的横坐标成为极值点

中值定理

描述连续光滑曲线在两点之间的光滑性

令f(x)为光滑曲线，在其上取任意一点(a,f(a)),(b,f(b)), a < b,则必然存在一点c ，a < c < b,使得经过c点的切线斜率与经过a ,b两点的割线斜率相同 $f(c)^`=\frac{f(b)-f(a)}{b-a}$

罗尔中值定理

如果函数f(x)满足：
1. f(x)在闭区间 [ a,b ] 上连续
2. 在开区间 ( a,b) 上可导
3. f(a) = f(b)

则在(a,b)中至少存在一点c ,使得 $f(c)^` =0$

拉格朗日中值定理

如果函数f(x)满足：
1. f(x)在闭区间 [ a,b ] 上连续
2. 在开区间 ( a,b) 上可导

则必然存在一点c ，a < c < b,使得经过c点的切线斜率与经过a ,b两点的割线斜率相同 $f(c)^`=\frac{f(b)-f(a)}{b-a}$

柯西中值定理

如果函数f(x),g(x)都满足：
1. 在闭区间 [ a,b ] 上连续
2. 在开区间 ( a,b) 上可导

则存在点 $c\in (a,b)$ 使得 $(f(b)-f(a))*g(c)^`=(g(b)-g(a))*f(c)^`$

泰勒级数

一个在实数或者复数a邻域无穷可微的函数 f(x) ，它的泰勒展开式如下
$f(x)=\sum_{n=0}^{\infty}\frac{f^{(n)}(a)}{n!}f(x-a)^n$
当a=0时，为 麦克劳林级数

无穷小量

给定一个数列An，对任意给定的正实数 $\epsilon$,都存在N使得 $|a_k|<\epsilon$在k > N 时必然成立

极限

当 $x\rightarrow c$时 $f(x)\rightarrow L$，定义为对于任意的 $\epsilon>0$,都存在一个 $\delta>0$,若 $|x-c|<\delta$ 则 $|f(x)-L|<\epsilon$

线代

矩阵的初等变换

初等行变换
1. 互换矩阵两行的位置
2. 用一个不等于零的数乘以矩阵的某行所有元素
3. 将矩阵的某行的某个倍数加到另外一行
矩阵的初等行变换或者初等列变换后的矩阵都是等价的 。

奇异矩阵

行列式 $det(A)=0$的矩阵 A为奇异矩阵，反之为非奇异矩阵

特征值和特征向量

对于给定的矩阵A，它的特征向量 $v$ 是经过A线性变换的线性变换后得到的新向量仍然与 $v$保持同一条直线上，它的长度可能会改变。即

$Av=\lambda v$

其中 $\lambda$是标量，成为其特征值。矩阵A的特征值的数量等于它的秩。有多少个特征值，就有多少个特征向量。一般求特征值和特征向量的方法如下：

$det(A-\lambda I)=0$

可以得到关于 $\lambda$的n次(n为矩阵A的维度)多项式，这个多项式的根就是所有的特征值，将特征值带入 $(A-\lambda I)x=0$,解出 $x$即得到这个特征值对应的特征向量。还有 幂法 来求特征值向量，不过求的是最大的特征向量，在主成分分析中(PCA)会用到

正交矩阵

矩阵Q满足 $Q^TQ=I$，它作为一个变换矩阵可以保持距离不变，并且行列式为 $\pm 1$ ,在 QR分解、奇异值分解中会用到。

等价矩阵

对于一个矩阵 A 如果矩阵B与A等价的话，则存在两个可逆矩阵P,Q使得
$$A=PBQ$$

相似矩阵

对于一个矩阵A，如果矩阵与矩阵A相似的话，则存在一个矩阵可逆矩阵P使得
$$A=PBP^{-1}$$

线性相关

如果有向量组 $\alpha_1,\alpha_2 ...\alpha_n$是线性相关的，则存在不全为0 的 $k_1,k_2,...k_n$ 使得 $k_1 \alpha_1+k_2\alpha_2+...k_n \alpha_n=0$;则称这个向量组是线性相关的

线性无关

如果有向量组 $\alpha_1,\alpha_2 ...\alpha_n$是线性无关的，则如果 $k_1 \alpha_1+k_2\alpha_2+...k_n \alpha_n=0$，必然有 $k_1=k_2=...=k_n=0$

格拉姆-施密特正交化

利用投影原理在已有的正交基上构建一个新的正交基假设 $v\in V^n$,并且 $V^k$是 $V^n$上的子空间，并且 $v\notin V^k$, $V^k$的一组标准正交基{ $\eta_1,\eta_2,..\eta_k$},
$$\beta=v-\sum_{i=1}^{k}proj_{\eta_i}v$$
则 $\beta$正交于 $V^k$的正交基 $\eta_i$，将 $\beta$正交化，则可以得到新的正交基
$$\eta_{k+1}=\frac{\beta}{||\beta||}$$
那么{ $\eta_1,...\eta_{k+1}$}为 $V^k$在v上扩展子空间span{ $v,\eta_1,...\eta_k$}的标准正交基。

概率

简单随机事件

如果一个实验在相同条件下可以重复进行，但是结果不可实现预测，却呈现某种规律性，这种实验叫做 随机实验。

一个随机实验E可能发生也可能不发生的现象叫做这个随机实验的随机事件，它是 样本空间的一个子集。

条件概率

$P(A|B)=\frac{P(AB)}{P(B)}$

概率乘法公式

$P(ABC)=P(A)P(B|A)P(C|AB)$

全概率公式

样本空间的划分，将样本空间划分成有穷或者无穷个不相交的随机事件 $A_1,...A_n$.

若 $A_1,...A_n$是样本空间 $\Omega$的一组可列划分，则对于任意随机事件B
$$P(B)=\sum_{i=1}^{n}P(A_i)P(B|A_i)$$

贝叶斯公式

若 $A_1,...A_n$是样本空间 $\Omega$的一组可列划分，则

$$P(A_i|B)=\frac{P(A_i)P(B|A_i)}{\sum_{i=1}^{n}P(A_i)P(B|A_i)}$$

边缘分布

假定一个于两个变量相关的概率分布 $P(x,y)$，那么关于其中一个变量的边缘分布等于给定其它变量的条件概率分布：
$$P(x)=\sum_{y}P(x,y)=\sum_{y}P(x|y)P(y)$$

随机变量

对于一个随机实验E，它的每个实验结果 $\omega \in \Omega$,有唯一的实数 $X(\omega)$与之对应，称 $X(\omega)$为随机实验E的随机变量

分布函数

X是一个随机变量，x是一个实数
$$F(x)=P(X\leq x)$$
F(x)为概率分布

概率密度函数

$$F(x)=\int_{-\infty}^{x} f(x)\,dx$$
f(x)为概率密度函数

随机变量的独立性

设随机向量(X,Y)的联合分布函数为F(x,y)， $F_x( X)$, $F_y(Y)$分别为X，Y的分布函数，若对于一切 $(x,y) \in R^2$,都有
$$F(x,y)=F_x(x)F_y(y)$$
则说明随机变量X，Y相互独立

数学期望

随机变量X的分布律为 $P(X=x_k)=p_k,k=1,2,...$,若级数
$$\sum_{k=1}^{\infty}|x_k|p_k$$
收敛，则随机变量X存在数学期望 $EX=\sum_{k=1}^{\infty}x_k p_k$。如果是概率密度函数，则 $EX=\int_{-\infty}^{\infty}xf(x)\,dx$

方差

设X是一个随机变量，若 $(X-EX)^2$的数学期望存在，则称 $E(X-EX)^2$为X的方差DX,表达了随机变量X与期望的偏离程度， $\sqrt{DX}$为标准差 $\sigma (x)$

协方差与相关系数

反映随机变量X，Y的关系，如果X，Y相互独立，则 $E(X-EX)E(Y-EY)=0$,称其为随机变量X，Y的协方差
$$Cov(X,Y)=E(X-EX)E(Y-EY)$$
称 $$\rho_{xy}=\frac{Cov(X,Y)}{\sqrt{DXDY}}$$
为X,Y的相关系数.