机器学习数学基础2：概率论与数理统计

极大似然估计

如果我们想用一个函数来拟合样本，我们可以构造一个关于样本X的函数$L(X,\theta )$，其中X是观察值，$\theta$是这个函数的参数，但是$\theta$是未知的，所以我们就需要通过观察到的X估计$\theta$，那么那个能把函数和观察值拟得最好的$\theta$，就叫做这个函数$L(X,\theta )$的“极大似然估计”。

置信区间

如果置信区间的概率为95%，那么对于置信区间两侧的边界值 x 和 y，它们的 p-value 为(1-a)/2，p-value 小于 5%，我们称之为显著，小于 1%称为极显著。

贝叶斯公式

Pr(X=x, Y=y)为“XY的联合概率”；
Pr(X=x)为“X的边际概率”；
Pr(X=x | Y=y)为“X基于Y的条件概率”；
Pr(Y=y)为“Y的边际概率”

Pr(X=x, Y=y) = Pr(X=x | Y=y) * Pr(Y=y)
即：“XY的联合概率”=“X基于Y的条件概率”乘以“Y的边际概率”
这个就是联合概率、边际概率、条件概率之间的转换计算公式。

表述的是离散分布，对于连续分布，也差不多。
只需要将“累加”换成“积分”。

联合概率

两个相互独立的随机变量X和Y，同时发生的概率，就是事件a的概率乘以事件b的概率；

边缘概率

就是某个随机变量取各个值时的概率。P(X=a)或P(Y=b)，这类仅与单个随机变量有关的概率称为边缘概率。

条件概率

一个事件发生的情况下，另一个事件发生的概率。计算方法就是，两个事件A和B同时发生的概率（也就是A和B的联合概率），除以B发生的概率（即B的边缘概率）。
$P(A|B)=P(AB)/P(B)$

贝叶斯公式

人们已经能够计算“正向概率”，如“假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸 出黑球的概率是多大”。
而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题，就是所谓的逆概问题。

首先，A和B的联合概率，可以通过两种方法求得，即发生A的时候发生B 和 发生B的时候发生A是一样的：
$$P(A,B)=P(A\mid B)P(B)=P(B\mid A)P(A)$$
然后，就能得到贝叶斯公式：
$$P(B|A)=\frac{P(A,B)}{P(A)}=\frac{P(A\mid B)P(B)}{P(A)}$$

连续型随机变量&积分

离散型随机变量

所有可能发生的数有 n 种，是一个离散的形式。
它的期望就是 ：
$\mu =E(x)={\sum }_{k=1}^n{x}_k\cdot p(x_k)$，其中 $p(x_k)$ 是 $x_k$发生的概率。
方差，也就是$(x-\mu {)}^{}$