1.Probability__概率基础

最新推荐文章于 2024-01-10 16:23:20 发布

Fanshaoliang

最新推荐文章于 2024-01-10 16:23:20 发布

阅读量942

点赞数

分类专栏：统计机器学习文章标签：统计学概率论机器学习

本文链接：https://blog.csdn.net/weixin_45745242/article/details/105205652

版权

统计机器学习专栏收录该内容

4 篇文章 0 订阅

订阅专栏

1.1 Sample Space & Events : 样本空间与事件

定义 1.1 Sample Space 样本空间

样本空间 $\large \Omega$ 是一次实验可能出现的结果的集合， $\large \Omega$ 的元素称为 $\large Element$ , $\large \Omega$ 的子集称为事件，对于集合 $\large A$ ，定义其补集 $\large A^C\in\begin{Bmatrix}\omega\in\Omega\ ,\ \omega\notin A\end{Bmatrix}.$

（1）一串事件 $\large A_1,A_2,A_3\cdots,A_n$ ，是单增的，如果满足： $\large A_1\subset A_2\subset A_3\subset \cdots \subset A_n$ ，定义其极限： $\large \lim_{n\to \infty}= \bigcup_{i=1}^{\infty}{A_i}$

（2）一串事件 $\large A_1,A_2,A_3\cdots,A_n$ ，是单减的，如果满足： $\large A_1\supset A_2\supset A_3 \supset \cdots \supset A_n$ ，定义其极限： $\large \lim_{n\to \infty}= \bigcap_{i=1}^{\infty}{A_i}$

【例1.1】 $\large \Omega \in \mathbb{R}\ , A_i=\left[\ 0,1/i\ \right ],i=1,2,\cdots$

$\large \Rightarrow \bigcup_{i=1}^{\infty} A_i = \left[\ 0, 1\ \right ) \ ,\ \bigcap_{i=1}^{\infty}A_i = \left[\ 0\ \right ]\\ if\ A_i = \left(\ 0,1/i\ \right ),\ then\ \bigcup_{i=1}^{\infty}A_i=(\ 0,1/i\ ), \bigcap_{i=1}^{\infty}A_i=\emptyset$

1.2 σ-Field & Measures σ域与测度

1.2.1 σ-Field σ域

定义 1.2 σ-Field

$\large \mathcal{A}$ 是样本空间 $\large \Omega$ 的子集的合集， $\large \mathcal{A}$ 称为σ-Field，当且仅当其有如下性质：

（1）包含空集

（2）如果 $\large A\in\mathcal{A}$ ，那么 $\large A^C \in \mathcal{A}$

（3）如果 $\large A_i \in \mathcal{A}$ ，那么 $\large \cup_{i=1}^{\infty}A_i \in \mathcal{A}$

1.2.2 Measurable Space 可测空间

定义 1.3 Measurable Space 可测空间

集合对 $\large (\Omega\ ,\ \mathcal{A})$ 称为可测空间， $\large \mathcal{A }$ 中的元素称为可测集。显然， $\large \emptyset^C = \Omega \in \mathcal{A}\ ,\ \cap_{i=1}^{\infty}A_i \in \mathcal{A}$ 。

【例1.2】令 $\large A$ 等于一个 $\large \Omega$ 的非空子集，且 $\large A \neq \emptyset\ ,\ A\neq \Omega$ ， $\large \mathcal{A}\ :\ \begin{Bmatrix} \emptyset\ ,\ \Omega\ ,\ A\ ,\ A^C \end{Bmatrix}$

【例1.3】 $\large \Omega \in \mathbb{R}\ ,\ \mathcal{A}$ 是包含所有 $\large \mathbb{R}$ 的有限开放子集的 σ - 域，被称为 $\large Borel \ \sigma-field$ ，记为： $\large \mathcal{B}(\mathbb{R})$

1.2.3 Measure 测度

定义 1.4 Measure 测度

集合对 $\large \left(\Omega\ ,\ \mathcal{A} \right )$ 是一个可测空间，定义在 $\large \mathcal{A}$ 上的集合函数 $\large \nu$ 称为一个测度，当且仅当其满足如下条件：

（1） $\large 0\le\nu(A)\le \infty\ ,\ \forall A\in\mathcal{A}$ （非负）

（2） $\large \nu(\emptyset)=0$ （空集取0）

（3）对于 $\large A_i \in \mathcal{A}$ 且 $\large A_i$ 间互斥，有： $\large \nu(\cup_{i=1}^{\infty}A_i)=\Sigma_{i=1}^{\infty}\nu(A_i)$ （可加性）

1.2.4 Probability Measure 概率测度

定义 1.3 Probability Measure 概率测度

三元集 $\large (\Omega \ ,\ \mathcal{A}\ ,\ \nu)$ 是一个可测空间，并且如果 $\large \nu(\Omega)=1$ ，那么 $\large \nu$ 就是一个概率测度，记为 $\large P$ 。 $\large (\Omega\ ,\ \mathcal{A}\ ,\ \nu )$ 称为一个概率空间。

【例1.4】（Counting Measure 可数测度）令 $\large \Omega$ 是一个样本空间， $\large \mathcal{A}$ 是所有子集的合集，且 $\large \nu(\mathcal{A})$ 是 $\large \mathcal{A}$ 中元素的个数，那么 $\large \nu(\mathcal{A})=\infty$ .

【例1.5】（Lebesque Measure 勒贝格测度） $\large m(\ [\ a,b\ ]\ )=b-a$ .

1.2.5 Properties ：Monotonous 性质：单调性

$\large A \in B \Rightarrow P(A) \le P(B)$

引理 1.1 并集概率公式

对任意事件 $\large A$ 与 $\large B$ , $\large P(A \cup B)=P(A)+P(B)-P(A\cap B)$

定理 1.1 Continuity of Probability 概率的连续性

若 $\large n\rightarrow\infty\ ,\ A_n \rightarrow A$ ，则 $\large P(A_n)\rightarrow P(A)$

【证明】假设 $\large A_n$ 是单增的， $\large A_1\subset A_2 \subset \cdots \subset A_n$ ，令 $\large \lim_{n\to \infty}A_n = \cup_{i=1}^{\infty}A_i$ ：

$&B_1=\begin{Bmatrix} \omega \in \Omega\ ;\ \omega \in A_1 \end{Bmatrix},\\ &B_2=\begin{Bmatrix}\omega\in \Omega\ ;\ \omega \in A_2\ ,\ \omega \notin A_1 \end{Bmatrix},\\ &B_3=\begin{Bmatrix} \omega \in \Omega\ ;\omega \in A_3\ ,\omega\notin A_2\ ,\ \omega\notin A_1\end{Bmatrix},\\ &\cdots\\$

$\large \cup_{i=1}^{\infty}A_i =\cup_{i=1}^{\infty}B_i$ ，则 $\large P(\cup_{i=1}^{n}B_i)=\Sigma_{i=1}^{n} P(B_i)$ , 且 $\large \lim_{n\to \infty} \Sigma_{i=1}^{n}P(B_i) = \Sigma_{i=1}^{\infty}P(B_i)=P(\Sigma_{i=1}^{\infty}B_i)=P(A)$ 。

另可记： $\large \tilde{A_1}=A_1\cap A\ ,\ \tilde{A_2}=(A_1\cup A_2)\cap A$

1.3 Independent Events 独立事件

定义 1.7 Independent 独立

两个事件是独立的（设为 $\large A$ 与 $\large B$ ），如果它们满足如下定义式：

$\large P(A\cap B)=P(A)P(B) \triangleq P(AB)$ ，记为 $\large A\perp B$ 。

定义 1.8 Independent of collection of events 事件集独立

事件集 $\large \begin{Bmatrix} A_i\ ,\ i \in I\end{Bmatrix}$ 是独立的，如果 $\large P(\cap_{i\in J}A_i)=\Pi_{i\in J}P(A_i)$ 对所有 $\large I$ 的有限子集成立。

定义 1.9 Conditional Probability 条件概率

设 $\large P(B) > 0$ ，则在 $\large B$ 发生的条件下 $\large A$ 发生的概率定义为（即条件概率）： $P(A|B)=\frac{P(AB)}{P(B)}$

引理 1.2 $\large if\ A \perp B\ ,\ then \ P(A|B)=P(A)$

定理 1.2 The Law of Total Probability 全概率法则

令 $\large A_1,A_2,\cdots ,A_k$ 是 $\large \Omega$ 的一个划分（Partition），即 $\large (i).\cup_{i=1}^{k}A_i = \Omega\ ,(ii). A_i \cap A_j= \emptyset$ ，则对任意事件 $\large B$ 有：

$P(B)=\sum_{i=1}^{k}P(B|A_i)P(A_i)$

定理 1.3 Bayesian Theorem 贝叶斯定理

令 $\large A_1,A_2,\cdots ,A_k$ 是 $\large \Omega$ 的一个划分（Partition），对每一个 $i$ 有 $P(A_i)>0$ ，那么如果 $P(B)>0$ ，则对 $i=1,2, \cdots ,k$ 有：

$P(A_i|B)=\frac{P(B|A_i)P(A_i)}{\Sigma_{j}P(B|A_j)P(A_j)}$ ，通常称 $P(A_i)$ 为先验概率， $P(A_i|B)$ 为后验概率。

Fanshaoliang

关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
打赏
0
评论
1.Probability__概率基础

1.1 Sample Space & Events : 样本空间与事件定义 1.1 Sample Space 样本空间样本空间是一次实验可能出现的结果的集合，的元素称为,的子集称为事件，对于集合，定义其补集（1）一串事件，是单增的，如果满足：，定义其极限：（2）一串事件，是单减的，如果满足：，定义其极限：【例1.1】1.2 σ-Field &amp...
复制链接

扫一扫