机器学习——数理统计和参数估计相关概念知识总结

引言

为了系统地复习机器学习相关算法及基础知识，对学过的知识进行一定的整理。

正文

事件的独立性（Independence）

定义：如果事件A和事件B满足$P(AB)=P(A)P(B)$，则称事件A和事件B独立。举个例子：如果一个人语文考试通过为事件A，数学考试通过为事件B，这两个考试一点关系都没有，互不影响，所以这个人同时通过两科考试的概率就应该等于通过语文考试的概率乘以通过数学考试的概率。

既然A、B是独立的，那么就有$P(A|B)=P(A)$。过了数学考试，语文考试就稳了吗？不存在的，没有半毛钱关系。

期望（Expectation）

期望就是概率加权平均值，不多扯了，上公式。
离散型：$E(X)={\sum }_i{x}_i{p}_i$
连续型：$E(X)={\int }_{-\infty }^{\infty }xf(x)dx$
对于编程来说，上述两个公式并无差异，在编程时，同样需要对连续的函数离散化。

对于期望，下面两个公式无条件成立
$E(kX)=kE(X)$
$E(X+Y)=E(X)+E(Y)$

如果X,Y独立的话，则有$E(XY)=E(X)E(Y)$，但是从$E(XY)=E(X)E(Y)$，无法得出A,B独立，只能得到X,Y不相关。独立和不相关的区别，下面会说到。

方差（Varience）

定义： $\mathrm{Var}(X)=E\left\{[X-E(X){]}^2\right\}=E\left(X^2\right)-E^2(X)$，反应数据的波动情况。
由于$\mathrm{Var}(X)\ge 0$，可以得到$E\left(X^2\right)\ge E^2(X)$。

对于方差，下述公式无条件成立：
$\mathrm{Var}(c)=0$
$\mathrm{Var}(X+c)=\mathrm{Var}(X)$
$\mathrm{Var}(kX)=k^2\mathrm{Var}(X)$
若X,Y独立，则有
$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$

协方差（Covarience）

定义： Cov ⁡ ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } \operatorname{Cov}(X, Y)=E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{ [X−E(X)][Y−E(Y)]}
性质：
$\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$
$\mathrm{Cov}(aX+b,cY+d)=\mathrm{acCov}(X,Y)$
$\mathrm{Cov}\left(X_1+X_2,Y\right)=\mathrm{Cov}\left(X_1,Y\right)+\mathrm{Cov}\left(X_2,Y\right)$
$\mathrm{Cov}(X,Y)=E(XY)-E(X)E(Y)$

特殊的， 当$\mathrm{Cov}(X,Y)=0$，则说明X,Y不相关（线性不相关）。
当$\mathrm{Cov}(X,Y)>0$，则说明X,Y趋势相同。
当$\mathrm{Cov}(X,Y)<0$，则说明X,Y趋势相反。

协方差的上界定理：
若 Var ⁡ ( X ) = σ 1 2 ， Var ⁡ ( Y ) = σ 2 2 \operatorname{Var}(X)=\sigma_{1}^{2} ，\operatorname{Var}(Y)=\sigma_{2}^{2} Var(X)=σ12​，Var(Y)=σ