2.Random Variable__随机变量（1）

最新推荐文章于 2022-09-28 15:02:51 发布

Fanshaoliang

最新推荐文章于 2022-09-28 15:02:51 发布

阅读量1.6k

点赞数

分类专栏：统计机器学习文章标签：概率论机器学习统计学

本文链接：https://blog.csdn.net/weixin_45745242/article/details/105214471

版权

统计机器学习专栏收录该内容

4 篇文章 0 订阅

订阅专栏

2.0 随机变量基础

定义 2.1

随机变量是一个可测映射： $X:\Omega \rightarrow \mathbb{R}$ ，该映射对每一个输出 $\omega$ 赋予实数值 $X(\omega)$

2.1 Distribution Function & Probability Density Function 分布函数与概率密度函数

定义 2.2 （累积）分布函数

（累积）分布函数：CDF，表示函数 $F_{X}:\mathbb{R} \rightarrow [\ 0,1\ ]$ ，定义为： $F_{X}(x)=P\{X\leq x\}$ .

定理 2.1

的CDF为，的CDF为，如果 $F(x)=G(x)\ ,\ \forall x$ ，那么 $P\{X\in A\}=G\{X\in A\}\ ,\ \forall A$ .

定理 2.2

从实直线映射到 $[\ 0,1\ ]$ 的函数是某个概率的CDF，当且仅当其满足如下条件：

（1）非单减，即： $x_{1}<x_{2}\rightarrow F(x_{1}) \leq F(x_{2})$

（2）规范，即： $\lim_{x\rightarrow -\infty} F(x)=0\ ,\ \lim_{x\rightarrow + \infty}F(x)=1$

（3）右连续，即： $F(x^{+})=\lim_{y\rightarrow x^{+}}F(y)$

定义 2.3 概率质量函数 pmf

如果的取值为可数的值 $\{X_1,X_2,\cdots \}$ ，则是离散的，定义的概率函数或概率密度函数为： $f_{X}(x)=P\{X \leq x\}$ ，因此有： $X \in \mathbb{R}\ ,\ f_{X}(x)\geq 0\ , \Sigma_{i}f_{X}(x_{i})=1$ ，有时用代替书写。的CDF与pmf间关系为：

$F_{X}(x)=P\{X\leq x\}=\Sigma_{x_{i}\leq x}f_{X}(x_{i})$

定义 2.4 概率密度函数 pdf

如果存在某个函数 $f_{X}$ 对所有有： $f_{X}(x)\geq 0\ ,\ \int_{-\infty}^{+\infty}f_{X}(t) dt=1$ 且 $P\{a<X<b\}=\int_{a}^{b}f_{X}(t)dt\ ,\ \forall a\leq b$ ，则随机变量是连续型随机变量，函数 $f_{X}(x)$ 称为概率密度函数（pdf）且有：

$F_{X}(x)=\int_{-\infty}^{x}f_{X}(t)dt$

以及 $f_{X}(x)=\frac{d}{dx}F_{X}(x)$ 在 $F_{X}$ 可微点处均成立。

2.2 Common Discrete Distribution 常见离散分布

2.2.1 单点分布

仅在一个点上有概率密度，记为 $X \thicksim \delta_{a}$ ，即 P(X=a)=1 ，那么

$F(x)=\begin{Bmatrix} 0,& x<a\\ 1,& x\geq a \end{matrix}$

概率密度在 x=a 处 f(x)=1 ，其他情形下为 0 。

2.2.2 离散均匀分布

令 k>1 为给定的整数，假设具有如下概率密度函数：

$f(x)=\begin{Bmatrix} &1/k,&\ \ x=1,2,\cdots,k,\\ &0,&\ \ otherwise \end{matrix}$

则称在 $\{1,2,\cdots ,k\}$ 上服从均匀分布。

2.2.3 Bernoulli Dsitribution 伯努利分布

$X \thicksim \begin{pmatrix} 1 & 0\\p&1-p\end{pmatrix} \Leftrightarrow \begin{Bmatrix}P\{X=1\}=p\ ,\ \\P\{X=0\}=1-p.\end{matrix} \\\\\Leftrightarrow X\thicksim Bernoulli(p) \Leftrightarrow f_{X}(x)=p^{x}(1-p)^{1-x}\ ,\ x\in\{0,1\}$

2.2.4 Binomial Distribution 二项分布

$f_{X}(x)= \begin{Bmatrix} \begin{pmatrix} n\\x\end{pmatrix}p^x(1-p)^{n-x}\ or\ C_{n}^{x}\ p^x(1-p)^{n-x}\ ,&\ x=0,1,2,\cdots,n,\\0,&otherwise\end{matrix} \\\\\\\Leftrightarrow X \thicksim Binomial(n,p)\ or\ B(n,p)\ ,\ \\\\and\ if\ X_1\thicksim B(n_1,p)\ ,\ X_2\thicksim B(n_2,p)\ ,\ then\ X_1+X_2 \thicksim B(n_1+n_2,p)$

2.2.5 Geometric Dsitribution 几何分布

$f_{X}(x)=P\{X=x\}=p(1-p)^{x-1}\ ,\ x=1,2,3,\cdots \Leftrightarrow X\thicksim Geom(p)\ or\ G(p)$

“连续失败 x-1 次，第次成功”

2.2.6 Poission Distribution 泊松分布

$f_{X}(x)=\frac{\lambda^{x}}{x!}exp(-\lambda)\ ,\ x>0 \Leftrightarrow X\thicksim Poission(\lambda)\ or \ X\thicksim P(\lambda)\\\\ and\ if\ X_1\thicksim P(\lambda_{1})\ X_2\thicksim P(\lambda_2)\ ,\ then\ X_1+X_2 \thicksim P(\lambda_1+\lambda_2)$

“描述罕见事件发生的次数”

【例2.1】泊松分布的二项式逼近： $Binomial(n,p)\Rightarrow f_{X}(x)=C_{n}^{k}\ p^k(1-p)^{n-k}$ ，令 $\lambda = np$ ，有 $p=\frac{\lambda}{n}$ 。

当 $n \rightarrow \infty$ 时， $p \rightarrow 0$ ， $f_{X}(k)=C_{n}^{k}(\frac{\lambda}{n})^{k}(1-\frac{\lambda}{n})^{-k}(1-\frac{\lambda}{n})^{n}$ ，

其中 $\lim_{n\rightarrow \infty}(1-\frac{\lambda}{n})^{n}=exp(-\lambda)$ ，

$\Rightarrow \ f_{X}(k)= \frac{n(n-1)(n-2)\cdots(n-k+1)}{k!}\lambda^{k}(\frac{1}{n})^{k}(1-\frac{\lambda}{n})^{-k}exp(-\lambda)$ ，

其中 $\lim_{n\rightarrow \infty}\frac{n(n-1)(n-2)\cdots (n-k+1)}{n^k}=1\ ,\ \lim_{n\rightarrow \infty}(1-\frac{\lambda}{n})^{-k}=1\\$ ，

$\Rightarrow f_{X}(k)=\frac{\lambda^k}{k!}exp(-\lambda)$ ，证毕。

Fanshaoliang

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
2.Random Variable__随机变量（1）

2.0 随机变量基础定义 2.1随机变量是一个可测映射：，该映射对每一个输出赋予实数值2.1 Distribution Function & Probability Density Function 分布函数与概率密度函数定义 2.2 （累积）分布函数（累积）分布函数：CDF，表示函数，定义为：.定理 2.1的CDF为，的CDF为...
复制链接

扫一扫