概率论基础知识汇总

矩：原始矩，中心矩

存在意义：

在数学和统计学中，矩（moment）是对变量分布和形态特点的一组度量。

原点矩和中心距的定义

1. 直接使用变量$X$计算的矩被称为原点矩（raw moment），矩通常默认就是指原始矩（原点矩），比如一阶矩，二阶矩。
2. 移除均值后$X-E(X)$计算的矩被称为中心矩（central moment）。

$n$阶矩的定义为：

$v_n={\int }_{-\infty }^{+\infty }{x}^{n}f(x)dx$

$n$阶中心矩的定义为:

${\mu }_n={\int }_{-\infty }^{+\infty }(x-E(X){)}^{n}f(x)dx$

变量的一阶原点矩等价于数学期望（expectation）、二至四阶中心矩被定义为方差（variance）、偏度（skewness）和峰度（kurtosis）。

一个很有意思的问题：对概率分布能否被其各阶矩决定的问题称为矩问题（moment problem），其中在有界区间内的矩问题命名为霍斯朵夫矩问题（Hausdorff moment problem），在无限区间内的矩问题称为汉堡矩问题（Hamburger moment problem）。

参考资料：
https://baike.baidu.com/item/%E7%9F%A9/22856460?fr=aladdin

协方差和相关系数

两个随机变量的协方差定义为：

n个随机变量两两之间算一下协方差，可以构成一个n阶矩阵：

其中：

两个随机变量的相关系数定义为：

大数定律

注意到，大数定律并不是经验规律，而是在一些附加条件上经严格证明了的定理，它是一种自然规律因而通常不叫定理而是大数“定律”。

补充：

弱大数定律表示样本均值“依概率收敛”于总体均值；而强大数定律是比较晚被证明出来的，它证明了样本均值可以“以概率为1收敛”于总体均值。

弱大数定律和强大数定律的区别在于，前者是“依概率收敛(convergence in probability)”，后者是“几乎确定收敛(almost surely convergence)或以概率为1收敛、几乎处处收敛”。后者比前者强，满足后者的必定满足前者，而满足前者的未必满足后者。

以概率为1收敛和几乎确定收敛是一个意思。概率为1发生并不代表一定发生，概率为0也不代表不发生。和不可能事件、必然事件是两回事。

依概率收敛是说随着n增大，越来越收敛。
以概率为1收敛是说n足够大，可以“一样”。