机器学习---数学基础加强（2）概率与统计

常见的概率分布

分布	公式	期望	方差
二项分布	$f(X=k)=\frac{n!}{k!(n-k!)}{p}^k(1-p{)}^{n-k}$	np	np(1-p)
高斯分布	$f(X)=\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}\right)$	μ	${\sigma }^2$
泊松分布	$P\left(X=k\right)=\sum _{k=0}^{\infty }\frac{{\lambda }^k}{k!}{e}^{-\lambda }$	$\lambda$	$\lambda$
均匀分布	$P\left(X\right)=\frac{1}{a+b}$	$\frac{a+b}{2}$	$\frac{{\left(b-a\right)}^2}{12}$
指数分布	$f\left(x\right)=\{\begin{array}{l}\lambda e^{-\lambda }\\ 0\end{array}\begin{array}{c},x\ge 0\\ ,x\le 0\end{array}$	$\lambda$	$\lambda$

Beta分布

beta分布可以看做是观察一系列的二项分布的分布，我们可以用实际检验的分布数据来进行分布的统计，从这个分布中我们可以计算出所有概率出现的可能性大小，所以也叫做概率的概率分布。
其分布的概率密度公式为：
$f(p;\alpha ,\beta )=\frac{p^{\alpha -1}{\left(1-p\right)}^{\beta -1}}{{\int }_0^1{\mu }^{\alpha -1}{\left(1-\mu \right)}^{\beta -1}d\mu }=\frac{\Gamma \left(\alpha +\beta \right)}{\Gamma \left(\alpha \right)\Gamma \left(\beta \right)}{x}^{\alpha -1}{\left(1-x\right)}^{\beta -1}$
从第一个等式的积分项可以看出其是对二项分布各种概率的积分。

指数族分布

对于一些分布我们可以将其转化为指数族分布的形式进行表示。
指数族分布的表达式（$\eta$为一个参数）
$$P(x;\eta )=h(x)e^{\eta T(x)-A(\eta )}$$
其中h(x)为底层观测值
T(x)为充分统计量
A($\eta$)为对数规则化

协方差

协方差表示的是两个随机变量是否具有相同方向变化趋势的变量。
协方差的公式为：
$$\mathrm{c}\mathrm{o}\mathrm{v}\left(X,Y\right)=E\left(XY\right)-E\left(X\right)E\left(Y\right)$$
协方差与独立之间有两个关系：
协方差为0表示这两个变量不相关，即两个变量的线性独立，但是无法推出两个变量独立。
而两个变量独立可以推出两个变量协方差为0

协方差矩阵

当存在多个变量时，协方差矩阵表示两两变量之间的协方差组成的矩阵，协方差矩阵为对称矩阵。

切比雪夫不等式

切比雪夫不等式表示在已知期望以及方差后，变量落在各个区间内的概率
$$P\text{{}\left|x-\mu \right|\ge \epsilon \text{}}\le \frac{{\sigma }^2}{{\epsilon }^2}$$
X变量的方差越小，事件 { ∣ x − μ ∣ < ε } \left\{\left|x-\mu\right|<\varepsilon\right\} {∣x−μ∣<ε}发生的概率越小。

大数定律

针对与随机变量X1,X2,…Xn互相独立，且具有相同期望和方差。
lim ⁡ n → ∞ { ∣ Y n − μ ∣ < ε } = 1 \lim_{\text{n}\rightarrow\infty}\left\{\left|Y_n-\mu\right|<\varepsilon\right\}=1 n→∞lim​{∣Yn​−μ∣<ε}=1

中心极限定理

X1,X2,…Xn互相独立且具有相同的期望则其可以收敛到标准正态分布。
$$Y_n=\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }$$

最大似然估计

利用已知信息反推出最有可能导致样本结果出现的模型参数值。