【机器学习数学基础】概率论与数理统计（简要版）

因为考研的时候我已经学过了高数和线代，加上本科的时候这两门课学得就比较好，所以对这两门课印象比较深刻，记得比较清楚。但是概率论是真的有点烦，公式比较多、模型也多，所以写个笔记方便以后自己查看复习

前置知识

排列组合

基础理论知识

两个常用公式

乘法定理

完成一件事有k个步骤，每个步骤有N_i个方法（0<i<=k），则完成这件事有：
N_1N_2……*N_k 种方法

加法定理

完成一件事有K种不同套路，每种套路有m_i种方法，则完成这件事有：
m_1+m_2+……+m_K 种方法

例题

捆绑法

图片来源于bilibili@高数叔的百宝箱，侵权删

插空法

图片来源于bilibili@高数叔的百宝箱，侵权删

插板法

图片来源于bilibili@高数叔的百宝箱，侵权删

乘法原理

关键在于对问题进行步骤上的分解
图片来源于bilibili@高数叔的百宝箱，侵权删

加法原理

法一：图片来源于bilibili@高数叔的百宝箱，侵权删
法二：图片来源于bilibili@高数叔的百宝箱，侵权删

概率论

在随机变量已知的情况下去研究其规律、性质

基本概念与随机事件的关系

基本概念

略

随机事件的关系

1. A⊂B
   事件B包含事件A，事件A发生必然导致事件B发生
2. A=B
   若A⊂B且B⊂A，则称A、B两事件相等
3. A∪B
   事件A和事件B的和事件，A、B至少有一个发生，则事件A∪B就发生
4. A∩B
   事件A和事件B的积事件，A、B同时发生，则A∩B才发生
5. A-B
   事件A和事件B的差事件，A发生而B不发生时，事件A-B才发生
6. A∩B=Ø
   事件A和事件B是互斥的、互不相容的，不可能同时发生
7. A∩B=Ø且A∪B=S
   互为逆事件或对立事件，即要么A发生B不发生，要么A不发生B发生

事件的运算

例题

略，这个和离散数学一样，就不写了，刚刚复试完离散数学！而且这个也不难！

频率与概率

略，有点简单了！

古典概型和几何概型

只需要知道前者是事件有限，后者是无限，而且后者一般是通过作图求解的。

条件概率

计算公式

P(B|A) = P(AB)/P(A)，事件A发生的条件下事件B发生的条件概率

全概率公式和贝叶斯公式

全概率公式

如果一个样本空间S被B1、B2、……、Bn这样一个完备事件组划分，且P(Bi)>0，则P(A)=P(AB1)+P(AB2)+……+P(ABn)=P(A|B1)P(B1)+P(A|B2)P(B2)+……+P(A|Bn)P(Bn)

贝叶斯公式

例题

1. 例1

2. 例2
   

事件的独立性

顾名思义就是两个事件相互独立，所以P(AB)=P(A)P(B)

独立性的结论

例题

• 例1
  

一维离散型随机变量及其分布

常见的离散随机变量分布

泊松定理

离散随机变量分布函数

例题

• 例1
• 例2
  
• 例3
  
  

一维连续型随机变量及其概率密度

概率密度函数及其性质

常见的连续型随机变量分布

例题

• 例1

• 例2

随机变量的函数的分布

离散型

连续型

• 单调变化型

• 非单调型
  

二维离散型随机变量及其分布

和一维一样，不做过多笔记

二维连续型随机变量及其分布

只不过把积分换成了二重积分，都一样！

二维随机变量的独立性

和事件独立性差不多

两个随机变量最值的分布

就是前面的变式，都一样

期望和方差

数学期望的定义和性质

期望描述的是均值

方差的定义和性质

方差（也叫标准差）描述的是变量与均值的差距，即稳定性

常用分布的期望和方差

协方差和相关系数

协方差的定义和性质

相关系数的定义和性质

相关系数描述的是两个变量之间的关系，可以消除量纲的影响

大数定律及中心极限定理

大数定律

大数定律说的其实是：当实验的次数足够多时，事件发生的概率会逐渐趋于稳定，而且精度是十分高的。所以这就可以解释抛硬币实验为什么正反都是二分之一。

中心极限定理

描述的是所有模型的平均值的分布都是正态分布

数理统计

随机变量的分布是未知的，所以要通过实验获得数据，从而去估计这些总体未知的信息

样本与抽样分布

常见样本量

常见分布

咖方分布

t分布

F分布

正态总体的样本均值和样本方差的分布

例题

1. 例1
   
2. 例2
   
   
3. 例3
   
   
   
   

点估计

矩估计

最大似然估计

例题

1. 例1
   
   
2. 例2
   
   
3. 例3
   
   
   
   

区间估计与假设检验