3.1. 测度论-概率空间的基本概念

本章将回顾一下测度理论中的一些定义和结果.

概率空间的基本概念

本节主要分为三个部分:

1. 概率空间(概率空间的定义和测度的性质),
2. 实数轴上的L-S测度(由Stieltjes 测度函数$F$定义的半代数上的集函数 唯一决定实数轴上的测度),
3. d维实数空间上的L-S测度.

如果半代数上的集函数满足定理1.1.9条件, 那么这个集函数可以延拓成为该半代数生成的$\sigma$代数上的测度. 因此$\sigma$代数上的测度是按照这种方法定义出来的.

1. 概率空间

概率空间$(\Omega ,\mathcal{F},P)$, 其中 $\Omega$ 是 "结果"的集合, $\mathcal{F}$ 是 "事件"的集合, $P:\mathcal{F}\to [0,1]$ 是一个为事件分配概率的函数. 下面给出这三个要素的定义.

$\sigma$ 代数$\mathcal{F}$：假设 $\mathcal{F}$ 是一个 $\sigma$ 域(或 $\sigma$ 代数), 即一个满足下述条件的 $\Omega$ 子集的(非 空)集合

1. 余封闭:如果 $A\in \mathcal{F}$, 则 $A^c\in \mathcal{F}$;
2. 可数并封闭:如果 $A_i\in \mathcal{F}$ 是一个可数的集合序列,则 ${\cup }_i{A}_i\in \mathcal{F}$.

由于${\cap }_i{A}_i={\left({\cup }_i{A}_i^c\right)}^c$, 因此 $\sigma$ 代数关于可数交封闭.

概率P: 没有 $P$, $(\Omega ,\mathcal{F})$ 被称为一个可测空间,即一个可以放测度的空间. 测度是一个非负可列可加集函数,即函数 $\mu :\mathcal{F}\to \mathbf{R}$,

1. 对所有 $A\in \mathcal{F},\mu (A)\ge \mu (\varnothing )=0$
2. 如果 $A_i\in \mathcal{F}$ 是一个互不相交集合的可数序列,则$\mu \left({\cup }_i{A}_i\right)={\sum }_i\mu \left(A_i\right)$\

如果 $\mu (\Omega )=1$ ,称 $\mu$ 为概率度量,通常用 $P$ 表示.

定理1.1.1. 测度的性质-单调性, 次可加性, 连续性: 令 $\mu$ 是 $(\Omega ,\mathcal{F})$ 上的测度,假设以下提到的集合在 $\mathcal{F}$ 中

1. 单调性. 如果 $A\subset B$, 则 $\mu (A)\le \mu (B)$.
2. 次可加性. 如果 $A\subset {\cup }_{m=1}^{\infty }{A}_m$ ,则 $\mu (A)\le {\sum }_{m=1}^{\infty }\mu \left(A_m\right)$.
3. 下连续. 如果 $A_i\uparrow A($ 即 $A_1\subset A_2\subset \dots$且${\cup }_i{A}_i=A$ ), 则 $\mu \left(A_i\right)\uparrow \mu (A)$.
4. 上连续. 如果 $A_i\downarrow A($ 即 $A_1\supset A_2\supset \dots$且${\cap }_i{A}_i=A),\mu \left(A_1\right)<\infty$, 则 $\mu \left(A_i\right)\downarrow \mu (A).$

证明：(i) 令$B-A=B\cap A^c$, 则$B=A+(B-A)$, 故$\mu (B)=\mu (A)+\mu (B-A)\ge \mu (A)$.\
(ii) 令$A_n^{\prime }=A_n\cap A,B_1=A_1^{\prime }$, 对 $n>1,B_n=A_n^{\prime }-{\cup }_{m=1}^{n-1}{A}_m^{\prime }$. 由于$B_n$不相交, 并集$A$, $B_m\subset A_m$, 单调性得
$$\mu (A)=\sum _{m=1}^{\infty }\mu \left(B_m\right)\le \sum _{m=1}^{\infty }\mu \left(A_m\right)$$
(iii) 令$B_n=A_n-A_{n-1}$. 则$B_n$互不相交且 ${\cup }_{m=1}^{\infty }{B}_m=A,{\cup }_{m=1}^n{B}_m=A_n$, 则
$$\mu (A)=\sum _{m=1}^{\infty }\mu \left(B_m\right)=\underset{n\to \infty }{\lim }\sum _{m=1}^n\mu \left(B_m\right)=\underset{n\to \infty }{\lim }\mu \left(A_n\right)$$
(iv) 由(iii)可得 $\mu \left(A_1-A_n\right)\uparrow \mu \left(A_1-A\right)$. 由 $A_1\supset A$得$\mu \left(A_n\right)\downarrow \mu (A)$.

示例 1.1.2 (离散概率空间): 设 $\Omega$ 是一个可数集, 设 $\mathcal{F}$ 为 $\Omega$ 所有子集的集合.
$$P(A)=\sum _{\omega \in A}p(\omega )\text{, 其中 }p(\omega )\ge 0,\sum _{\omega \in \Omega }p(\omega )=1$$

2. 实数轴上的$L$-$S$测度

生成 $\sigma$-代数: 给定一个集合 $\Omega$, 以及 $\Omega$ 子集构成的集类 $\mathcal{A}$, 则存在最小的 $\sigma$-代数包含 $\mathcal{A}$. 称其为由 $\mathcal{A}$ 生成的 $\sigma$-代数, 并 且定义为 $\sigma (\mathcal{A})$.

令 ${\mathbf{R}}^d$是实数向量 $\left(x_1,\dots x_d\right)$的集, ${\mathcal{R}}^d$是 Borel集类, 最小的$\sigma$-代数包含所有开集.

$I\ne \varnothing$ 是任意的一个指标集(即可能不可数).

1. 如果 ${\mathcal{F}}_i,i\in I$ 是 $\sigma$-代数,则 ${\cap }_{i\in I}{\mathcal{F}}_i$ 也是 $\sigma$-代数;
2. 如果 ${\mathcal{F}}_i,i\in I$ 是递增 $\sigma$-代数列,则 ${\cup }_{i\in I}{\mathcal{F}}_i$ 是代数,但不一定是 $\sigma$-代数.

实数轴上的测度由不减的右连续函数 $F$(Stieltjes测度函数)唯一决定.

Stieltjes测度函数$F$: $(\mathbf{R},\mathcal{R})$ 上的测度由一个具有以下性质的Stieltjes测度函数 $F$决定:

1. $F$ 是不减的.
2. $F$ 是右连续的,即 ${\lim }_{y\downarrow x}F(y)=F(x)$.

定理 1.1.4. 实数轴上的测度由 $F$ 唯一决定: 对于每个Stieltjes测度函数 $F$ ,在 $(\mathbf{R},\mathcal{R})$ 上存在唯一的测度 $\mu$ 与其关联, 其中,
$$\mu ((a,b])=F(b)-F(a)$$
称为Lebesgue-Stieltjes测度. 当 $F(x)=x$ ,称为 Lebesgue测度.

令$\mathcal{S}$是半开区间类$(a,b]$, 其中$-\infty \le a<b\le \infty$. 这样设定的目的是使其成为半代数, 其有限不交并能够生成代数, 然后可以将集函数延拓到代数上(见下).

证明思路: 定理中给出了区间 $(a,b]$ 的集函数 $\mu$ , 目标是证明该集函数唯一决定了Borel $\sigma$ 代数 上的测度. 证明可分为三个部分:

1. $(a,b]$ 是 $\mathcal{R}$ 上的半代数, Borel $\sigma$ 代数是由该半代数生成的 $\sigma$ 代数.
2. 半代数 $\mathcal{S}$ 上满足两个特定条件的集函数 $\mu$ 可以唯一 决定生成代数 $\overline{\mathcal{S}}$ 上的测度 $\bar{\mu }$; 如果生成代数 $\overline{\mathcal{S}}$ 上的测度是 $\sigma$ 有限测度,则可以唯一决定生成 $\sigma$ 代数 $\sigma (\mathcal{S})$ 上的测度 $\nu$.
3. 证明定理中给出的区间 $(a,b]$ 上的集函数 $\mu$ 满足上述两个特定条件, 则定理得证.

定义$\mathcal{S}$上的集函数$\mu$, 令$F(\infty )={\lim }_{x\uparrow \infty }F(x)$, $F(-\infty )={\lim }_{x\downarrow -\infty }F(x)$存在. 则$\mu ((a,b])=F(b)-F(a)$ 对$-\infty \le a<b\le \infty$有意义.

(i) 令$(a,b]={+}_{i=1}^n\left(a_i,b_i\right]$, 调整区间使得$a_1=a,b_n=b$, 并且对$2\le i\le n$, $a_i=b_{i-1}$, 定理1.1.9条件(i)成立.

(ii) 思路: 先证明$-\infty <a<b<\infty$的情形, 再通过有限区间逼近证明一般的情形.

对于$-\infty <a<b<\infty$的情形, 令$(a,b]\subset {\cup }_{i\ge 1}\left(a_i,b_i\right]$, 其中$-\infty <a_i<b_i<\infty$. 如果能证明$F(b)-F(a)\le \sum F(b_i)-F(a_i)$, 条件(ii)自然可以成立. 由于引理1.1.10说明条件(i)成立, 代数上的集函数具有有限次可加性, 那么只要证明$(a,b]$存在有限子覆盖即可. 下面给出完整的证明.

选择$\delta >0$使得$F(a+\delta )<F(a)+ϵ$, 选择${\eta }_i$使得
$F\left(b_i+{\eta }_i\right)<F\left(b_i\right)+ϵ2^{-i}$, 因此开区间$\left(a_i,b_i+{\eta }_i\right)$覆盖 $[a+\delta ,b]$, 根据有限覆盖定理(闭区间被有限开区间覆盖)存在有限子覆盖$\left({\alpha }_j,{\beta }_j\right),1\le j\le J$. 即$(a+\delta ,b]\subset {\cup }_{j=1}^J\left({\alpha }_j,{\beta }_j\right]$, 又因为条件(i)成立, 故利用引理1.1.10(b)可得
$$F(b)-F(a+\delta )\le \sum _{j=1}^{J}F\left({\beta }_j\right)-F\left({\alpha }_j\right)\le \sum _{i=1}^{\infty }\left(F\left(b_i+{\eta }_i\right)-F\left(a_i\right)\right)$$
由于选择$\delta$, ${\eta }_i$的任意性, 可得下式, 由于$ϵ$任意, 可证.
$$F(b)-F(a)\le 2ϵ+\sum _{i=1}^{\infty }\left(F\left(b_i\right)-F\left(a_i\right)\right)$$

去除$a,b$有限的假设, 如果$(a,b]\subset {\cup }_i\left(a_i,b_i\right]$且$(A,B]\subset (a,b]$, 其中$-\infty <A<B<\infty$, 则
$$F(B)-F(A)\le \sum _{i=1}^{\infty }\left(F\left(b_i\right)-F\left(a_i\right)\right)$$
上述结论对任意有限$(A,B]\subset (a,b]$成立, 故可证.>

半代数: 集类 $\mathcal{S}$ 被称为半代数, 如果(i) 关于交运算封闭,即 $S,T\in \mathcal{S}$ 意味着 $S\cap T\in \mathcal{S}$;\
(ii) 如果 $S\in \mathcal{S}$ ,则 $S^c$ 是 $\mathcal{S}$ 中集合的有限不交并.

示例.d维实数空间的半代数: ${\mathcal{S}}_d=$ 空集加上所有如下形式的集合
$$\left(a_1,b_1\right]\times \cdots \times \left(a_d,b_d\right]\subset {\mathbf{R}}^d\text{ 其中, }-\infty \le a_i<b_i\le \infty$$

代数: $\Omega$ 的子集构成的集类 $\mathcal{A}$ 被称为代数(或域), 如果 $A,B\in \mathcal{A}$ 意味着 $A^c$ 和 $A\cup B$ 在 $\mathcal{A}$ 中. 由于 $A\cap B={\left(A^c\cup B^c\right)}^c$, 则 $A\cap B\in \mathcal{A}$.

示例: 令 $\Omega =\mathbf{Z}$. A = { A ⊂ Z \mathcal{A}=\left\{A \subset \mathbf{Z}\right. A={A⊂Z 使得 $A$ 或 $A^c$ 有限 $\}$ 是代数而非$\sigma$ 代数.
习题: 有渐进密度的集合类不是代数.

引理. 由半代数生成代数的表示: 若$\mathcal{S}$ 是半代数,则 S ‾ = { S \overline{\mathcal{S}}=\{\mathcal{S} S={S 中集合的有限不交并 $\}$ 是代数, 称由$\mathcal{S}$生成的代数.

示例. 实数空间代数的生成: 令 $\Omega =\mathbf{R},\mathcal{S}={\mathcal{S}}_1$ ,则 ${\overline{\mathcal{S}}}_1=$ 空集加上所有如下形式的集合
$${\cup }_{i=1}^k\left(a_i,b_i\right]\text{, 其中, }-\infty \le a_i<b_i\le \infty$$

前面主要讲的是半代数如何生成代数, 下面介绍半代数上满足什么条件的集函数可以延拓成为生成代数以及生成 $\sigma$ 代数上的测度？(定理1.1.9. 半代数上集函数不交的有限可加, 不交的可列次可加), 引理1.1.10给出半代数上不交的有限可加集函数延拓到代数上满足不交的有限可加以及交的有限次可加.

1. 半代数上满足两个特定条件的集函数$\mu$ 在生成代数上有唯一延拓 $\bar{\mu }$, 即$\mathcal{A}(\mathcal{S})$ 上的测度.

2. 如果 $\bar{\mu }$ 是$\sigma$-有限测度, 则存在生成 $\sigma$ 代数上的唯一延拓 $\nu$, 即$\sigma (\mathcal{S})$ 上的测度.

根据引理, 给定半代数 $\mathcal{S}$ 上的任意集函数 $\mu$, 都可以将其延拓到代数 $\overline{\mathcal{S}}$上,

代数上的测度: 代数 $\mathcal{A}$ 上的测度指的是具有如下性质的集函数 $\mu$:

1. 对于所有 $A\in \mathcal{A},\mu (A)\ge \mu (\varnothing )=0$;
2. 如果 $A_i\in \mathcal{A}$ 互不相交,并且并集在 $\mathcal{A}$ 中,则$\mu \left({\cup }_{i=1}^{\infty }{A}_i\right)={\sum }_{i=1}^{\infty }\mu \left(A_i\right)$.

代数上的 $\sigma$ 有限测度: $\mu$ 被称为$\sigma$ 有限, 如果存在一个集合序列 $A_n\in \mathcal{A}$ 使得$\mu \left(A_n\right)<\infty$且 ${\cup }_n{A}_n=\Omega$.

令$A_1^{\prime }=A_1$, 且对$n\ge 2$, 由于
$$A_n^{\prime }={\cup }_{m=1}^n{A}_m\text{ 或者 }{A}_n^{\prime }=A_n\cap \left({\cap }_{m=1}^{n-1}{A}_m^c\right)\in \mathcal{A}$$
不失一般性, 假设 $A_n\uparrow \Omega$ 或者 $A_n$ 不相交.

定理1.1.9. 半代数上什么样的集函数可以延拓为$\sigma$代数上的测度: 令 $\mathcal{S}$ 是半代数,令 $\mu$ 定义于 $\mathcal{S}$ 且 $\mu (\varnothing )=0$. 假设
(i) 如果 $S\in \mathcal{S}$ 是 $S_i\in \mathcal{S}$ 中集合的有限不交并,则 $\mu (S)={\sum }_i\mu \left(S_i\right)$
(ii) 如果 $S_i,S\in \mathcal{S}$ 有 $S={+}_{i\ge 1}{S}_i$ , 则 $\mu (S)\le {\sum }_{i\ge 1}\mu \left(S_i\right)$.则,

1. $\mu$ 有唯一的延拓 $\bar{\mu }$, 这是由 $\mathcal{S}$ 生成代数 $\overline{\mathcal{S}}$ 上的测度.
2. 如果 $\bar{\mu }$ 是$\sigma$-有限测度, 则存在唯一延拓 $\nu$, 即$\sigma (\mathcal{S})$ 上的测度.

习题. Borel-$\sigma$代数的生成 $\sigma \left({\mathcal{S}}_d\right)={\mathcal{R}}^d$, 由可得 ${\mathcal{R}}^d$ 是可数生成的.

引理. 半代数上不交有限可加集函数延拓到代数上的性质: 假设定理1.1.4的(i)成立(即半代数的集函数满足有限可加性), 则
(a). 如果 $A,B_i\in \overline{\mathcal{S}}$ 且 $A={+}_{i=1}^n{B}_i$ ,则 $\bar{\mu }(A)={\sum }_i\bar{\mu }\left(B_i\right)$.
(b) 如果 $A,B_i\in \overline{\mathcal{S}}$ 且 $A\subset {\cup }_{i=1}^n{B}_i$ ,则 $\bar{\mu }(A)\le {\sum }_i\bar{\mu }\left(B_i\right)$.

证明和定理1.1.1类似.

3. d维实数空间上的L-S测度

定义 .d维实数空间的Stieltjes测度函数

1. 非减,即如果 $x\le y$ (对于所有 $i$ ,有 $x_i\le y_i$ ),则 $F(x)\le F(y)$.
2. $F$ 右连续,即 ${\lim }_{y\downarrow x}F(y)=F(x)(y\downarrow x$ 意味着 $y_i\downarrow x_i)$.
3. 如果 $x_n\downarrow -\infty$ ,则 $F\left(x_n\right)\downarrow 0$ . 如果 $x_n\uparrow -\infty$ ,则 $F\left(x_n\right)\uparrow 1$.
4. 测度非负, 即令 $\mu (A)={\Delta }_{A}F$ ,假设对于所有矩形 $A$ ,有 ${\Delta }_{A}F\ge 0$.

前三个条件的函数 $F$并不一定可以决定一个测度, 这里需要附加最后一个条件. 令$A$ 是一个有限矩形. $V$ 是矩形 $A$ 的顶点, 即
A = ( a 1 , b 1 ] × ⋯ × ( a d , b d ] ; V = { a 1 , b 1 } × ⋯ × { a d , b d } A=(a_{1}, b_{1}] \times \cdots \times (a_{d}, b_{d}]; V=\{a_{1}, b_{1}\} \times \cdots \times\{a_{d}, b_{d}\} A=(a1​,b1​]×⋯×(ad​,bd​];V={a1​,b1​}×⋯×{ad​,bd​}
其中, $-\infty <a_i<b_i<\infty$. 如果 $v\in V$ ,令
$$\mathrm{sgn}(v)=(-1{)}^{\#}v\text{中 }a\text{的个数};{\Delta }_{A}F=\sum _{v\in V}sgn(v)F(v)$$

定理. d维实数空间上的测度由 $F$ 唯一决定: 假设 $F:{\mathbf{R}}^d\to [0,1]$ 满足上述四 个条件(i)-(iv). 则在 $\left({\mathbf{R}}^d,{\mathcal{R}}^d\right)$ 上存在唯一的概率测度 $\mu$ 使得对所有的有限矩形 $A$, $\mu (A)={\Delta }_{A}F$.

示例. 多维随机向量独立情形的测度: 假设 $F(x)={\prod }_{i=1}^d{F}_i(x)$, 其中$F_i$满足定理1.1.4的(i) (ii),
$${\Delta }_{A}F=\prod _{i=1}^d\left(F_i\left(b_i\right)-F_i\left(a_i\right)\right)$$
其中对所有$i$, $F_i(x)=x$, 相应测度是${\mathbf{R}}^d$上的Lebesgue测度.

对所有有限矩形, 令$\mu (A)={\Delta }_{A}F$, 利用单调性将定义推广到 ${\mathcal{S}}_d$.

(i) 记$A={+}_k{B}_k$是$A$的正则细分, 如果存在序列 $a_i={\alpha }_{i,0}<{\alpha }_{i,1}\dots <{\alpha }_{i,n_i}=b_i$使得每个矩形 $B_k$有形式
$$\left({\alpha }_{1,j_1-1},{\alpha }_{1,j_1}\right]\times \cdots \times \left({\alpha }_{d,j_d-1},{\alpha }_{d,j_d}\right]\text{其中}1\le j_i\le n_i$$
显然$\lambda (A)={\sum }_k\lambda \left(B_k\right)$. (先考虑终点有限, 再取极限得到一般情形). 通过对一般划分$A={}_{+}{A}_j$进一步的细分得到正则细分.
(ii) 和定理1.1.4类似.

定义在 $\Omega$ 上的实值函数 $X$ 被称为是一个随机变量,如果对于每个 Borel集 $B\subset \mathbf{R}$ ,有 X − 1 ( B ) = { ω : X ( ω ) ∈ B } ∈ F X^{-1}(B)=\{\omega: X(\omega) \in B\} \in \mathcal{F} X−1(B)={ω:X(ω)∈B}∈F. 称 $X$ 是 $\mathcal{F}$-可测或写作 $X\in \mathcal{F}$.