机器学习数学基础（二）概率

机器学习数学基础（二）概率

1. 累计分布函数
   

   $$F_X(x)=P(X \leq x )$$
   $$P(a<X <b )=F_X(b)-F_X(a)$$
   主要表示的是概率的累计分布，方便与我们查找（a~b）之间的概率通过公式2来表示，但是当我们需要计算的a-b之间的有时候不容易计算，比如在$(-\infty ,1)$区间内不容易计算，于是产生概率密度函数。

2. 概率密度函数(更常用)
   概率密度函数实际上是累计分布函数的导数
   

   $$f_X(x)=\frac{dF_X(x)}{dx}$$
   那么如果要计算$(a<x<b)$的函数只需要对$f_X(x)$在$(a,b)$间积分即可：
   $$P[a<X<b]=\int_a^b f_X(x) d(x)$$
   对于计算$(x<a)$区间内的概率大小，我们可以采用如下的微积分公式即可计算得到：
   $$P[a<X<b]=\int_{-\infty}^b f_X(x) d(x)$$
   如下图所示，图形与x轴围城的面积大小即为x落在$(-1\sigma，1\sigma)$的概率大小，计算函数积分就是概率的值。
   

3. 高斯分布
   高斯分布是日常中最常用的分布函数，大多数概率分布都服从高斯分布，对于一元概率密度表示为：(其中$\mu$表示分布的期望值，$\sigma^2$表示方差，决定随机变量分布的分散程度，当$\sigma^2$越小数据越集中)从图中可以看出。
   $$f(x|\mu, \sigma^2)=\frac{1}{\sigma \sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$
   多元密度函数表示为：
   $$f_X(x_1,\cdots,x_k)=\frac{1}{\sqrt{(2\pi)^k|\sum|}}exp(-\frac{1}{2}(X-\mu)^T \sum^{-1}(x-\mu))$$
   

中心极限定理：
独立同分布的随机变量，求和后依概率收敛于高斯分布；
（解释：通俗的说将多个杂乱无章的随机变量相加后，大多数服从高斯分布。）例如：

$$x=x_1+x_2+, \dots ,+x_k$$
$x_1,x_2, \dots ,x_k$ 为相互之间没有联系的任意分布，但是多项相加之后很可能就服从高斯分布。

1. 
   
2. 贝叶斯公式（机器学习中最重要的公式）
   beyes 公式的推导：
   $$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$
   通常，$P(A|B)\neq P(B|A)$,但是对于事假A和事件B同时发生的联合概率为：
   

$P(A and B)=P(A)P(B|A)$
$P(B and A)=P(B)P(A|B)$
$P(A and B)=P(B and A)$
$P(A)P(B|A)=P(B)P(A|B)$
$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$
概率密度形式为：

$$f(x|y)=\frac{f(x,y)}{f(y)}=\frac{f(y|x)f(x)}{f(y)}=\frac{f(y|x)f(x)}{\int_{-\infty}^\infty f(y|x)f(x)dx}$$