机器学习--随机变量分布

一、随机变量：

（1）、 离散型随机变量：
若随机变量全部可能取到的值是有限多个或可列无
限多个。
（2）、非离散型随机变量：
连续型随机变量
奇异型随机变量

1.离散型r.v.的分布律

设离散型r.v.X所有可能取值为XK (k=1,2,3,……)

$P(X=x_k)=P_k,k=1,2,....$
满足$p_k>=0,k=1,2,...$ 　且　$\sum_{k=1}^{\infty}P_k=1$
则称(1)式为离散型r.v.X的概率分布或分布律

2.求分布律的步骤:

(1) 明确X的一切可能取值;
(2) 利用概率的计算方法计算X取各个确定值的概率, 即可写出X的分布律.

3.几种重要的离散型r.v.的分布律：

(1） 0–1分布:

X	0	1
$p_k$	1-p	p

其中0< p <1, $P\{X=K\}=P^k(1-p)^{1-k},k=0,1$

(2) 贝努利试验 (二项分布):
定义：设试验E只有两个可能结果A与非A ，且P(A)=p（0 < p <1），将试验E独立重复地进行n次，这样的试验称为贝努利试验。

二、随机变量的分布函数

1、分布函数的概念

定义： 设X是随机变量，对任意实数x， 事件{X≤x}的概率
P{X≤x}称为随机变量X的分布函数。记为F(x)， 即F(x)＝ P {X≤x}.

(1): $P\{x_1<X<x_2\} = P\{X\leq x_2 \}-P\{X \leq x_1\}=F(x_2)-F(x_1)$
(2) 无论是离散型r.v.还是非离散型r.v. ,分布函数都可以描述其统计规律性.

2、分布函数的性质

单调不减性：若$x_1$ < $x_2$, 则F(x1)≤F(x2);
归一 性：对任意实数x， 0≤F(x)≤1， 且
$F(-\infty)=lim_{x - \infty}F(x) = 0,F(+\infty)=lim_{x +\infty}F(x) =1$
右连续性：对任意实数x，
$F(x_0 + 0) = lim_{x x{^+}{_0}}F(x) =F(x_0)$

反之，具有上述三个性质的实函数，必是某个随机变量的分布函数。故该三个性质是分布函数的充分必要性质

三、连续型随机变量

1、概率密度

1、 定义： 对于随机变量X， 若存在非负函数f(x)，$(-\infty<x<+\infty)$
使对任意实数x， 都有$F(x) = P(X<=x) = \int_{-\infty}^xf(u)du$

则称X为连续型随机变量， f(x)为X的概率密度函数，简
称概率密度或密度函数. 常记为 X～ f(x) ,$(-\infty<x<+\infty)$

2、概率密度函数的性质:
(1)非负性：
f(x)≥0，$(-\infty<x<+\infty)$
(2)归一性：$\int_{-\infty}^{+\infty}F(x)dx=1$
性质(1)、 (2)是概率密度函数的充要性质；
(3):$P\{x_1<X<=x_2 \}=F(x_2)-F(x_1)=\int_{x_1}^{x_2}f(x)dx,(x_1<=x_2)$
(4)若x是f(x)的连续点，则$\dfrac{dF(x)}{dx}=f(x)$

四、几个常用的连续型分布

1、均匀分布
2、正太分布(高斯分布):
正态分布是实践中应用最为广泛，在理论上研究最多的分布
之一，故它在概率统计中占有特别重要的地位。
1）、设随机变量X的概率密度为：

$f(x)=\dfrac{1}{\sqrt{2\pi\partial}}e^-\dfrac{(x-u)^2}{2\partial^2} , -\infty<X<+\infty$
其中u,σ(σ>0)为常数，则称X服从参数为u,σ的正太分布，记作X~N（u,$σ^2$）

正态分布有两个特性：
a、单峰对称 密度曲线关于直线x=u对称
b、σ的大小直接影响概率的分布
σ越大，曲线越平坦， 在x轴方向抖动越厉害
σ越小，曲线越陡峻。

3、标准正太分布:
参数u＝ O， $σ^2$＝1的正态分布称为标准正态分布，记作X~N(0, 1)。