人工智能与机器学习原理精解【8】

马尔科夫过程论

基础

• $$\begin{gathered} 如果\alpha 是(G_1,A_1)到(G_2,A_2)的可测映象，\beta 是(G_2,A_2)到(G_3,A_3）的可测映象 \\ \beta \alpha (G_1,A_1)到的可测映象，前提是\beta 的定义域包含\alpha (G_1) \end{gathered}$$
• $$\begin{gathered} 设(G,M)为某可测空间，非负函数\phi (A)(A\in M)称为测度 \\ 对M中任一有限或可数多个两两不相交的集A_1,A_2,...,\phi (\cup A_k)=\Sigma \phi (A_k),\phi (G)=1的测度称为概率测度。 \end{gathered}$$
• $令{\alpha }_i为从(G,A)到(G_i,A_i)的可测映象，则由公式$
  α ( w ) = { α 1 ( w ) , α 2 ( w ) , . . . } 所定义的 空间 ( G , A ) 到 ( G 1 × G 2 × . . . . G n , A 1 × A 2 × . . . . ) 的映象是可测的。 \alpha(w)=\{\alpha_1(w),\alpha_2(w),...\}所定义的 \\空间(G,A)到(G_1\times G_2 \times ....G_n,A_1 \times A_2 \times....)的映象是可测的。 α(w)={α1​(w),α2​(w),...}所定义的空间(G,A)到(G1​×G2​×....Gn​,A1​×A2​×....)的映象是可测的。
• $如果0\le f_n(w)\uparrow f(w)对一切w\in A成立，则$
  $$\lim {\int }_A{f}_n(w)\phi (dw)={\int }_A{f}_n(w)\phi (dw)$$
• $如果对于一切w\in A,f_n(w)\to f(w)，|f_n(w)|<g(w)，且g在A上\phi 可积，则$
  $$\lim {\int }_A{f}_n(w)\phi (dw)={\int }_A{f}_n(w)\phi (dw)$$
• $令M_i为G_i中的\sigma 代数，{\phi }_i为M_i上的测度(i=1,2)，设f(w_1,w_2)是G_1\times G_2上的M_1\times M_2可测函数，则$
  $$\begin{gathered} {\int }_{G_1}[{\int }_{G_2}\mid f(w_1,w_2)\mid {\phi }_2(d{w}_2)]{\phi }_1(d{w}_1)<\infty ，则 \\ {\int }_{G_1}[{\int }_{G_2}\mid f(w_1,w_2)\mid {\phi }_2(d{w}_2)]{\phi }_1(d{w}_1)={\int }_{G_2}[{\int }_{G_1}\mid f(w_1,w_2)\mid {\phi }_2(d{w}_1)]{\phi }_1(d{w}_2) \end{gathered}$$
• $设\alpha 是(G_1,A_1)到(G_2,A_2)的可测映象，\phi 是A_1上的测度，则A_2上的测度可如下定义$
  ψ ( τ ) = φ { α ( w ) ∈ τ } ( τ ∈ A 2 ) 定义 A 2 下的测度，对任一 A 2 可测函数 f ∫ G 2 f ( w 2 ) ψ ( d w 2 ) = ∫ G 1 f [ α ( w 1 ) ] φ ( d w 1 ) \psi(\tau)=\varphi\{\alpha(w)\in \tau\}(\tau \in A_2) \\定义A_2下的测度，对任一A_2可测函数f \\\int_{G_2}f(w_2)\psi(dw_2)=\int_{G_1}f[\alpha(w_1)]\varphi(dw_1) ψ(τ)=φ{α(w)∈τ}(τ∈A2​)定义A2​下的测度，对任一A2​可测函数f∫G2​​f(w2​)ψ(dw2​)=∫G1​​f[α(w1​)]φ(dw1​)
• $$\begin{gathered} 设U,V,Z为三个空间，A_U,A_V,A_Z为这些空间的子集\sigma 代数 \\ F(u,z)(u\in U,z\in Z)为关于A_1\times A_2的可测函数， \\ {P}_v(v\in V)是\sigma 代数A_Z上的测度，并且对任意\tau \in A_Z,P_v(\tau )为A_V可测 \\ 如果积分G(u,v)={\int }_{Z}F(u,v)P(dz)对一切u\in U,v\in V收敛， \\ 它是A_U\times A_V可测函数。 \end{gathered}$$

理论

函数系的定义、例子和分类

一、函数系的定义

函数系是指由一组函数构成的集合，这些函数之间可能具有某种特定的关系或性质。在数学中，函数系的概念广泛应用于多个领域，如数学分析、泛函分析、逼近论等。函数系中的函数可以是同一类型的，也可以是不同类型的，关键在于它们之间的某种联系或共性。

二、函数系的例子

1. 正交多项式函数系：

   • 定义：在某一区间内，如果一组多项式函数满足正交性条件，即任意两个不同次数的多项式在该区间内的积分为零，则这组多项式构成一个正交多项式函数系。
   • 例子：勒让德多项式、切比雪夫多项式等。这些多项式在数值分析、逼近论等领域有重要应用。

2. 三角函数系：

   • 定义：在$[-\pi ,\pi ]$区间内，由常数1、正弦函数和余弦函数及其整数倍角函数构成的集合构成一个正交函数系。
   • 例子： { 1 , sin ⁡ x , cos ⁡ x , sin ⁡ 2 x , cos ⁡ 2 x , … , sin ⁡ n x , cos ⁡ n x , … } \{1, \sin x, \cos x, \sin 2x, \cos 2x, \ldots, \sin nx, \cos nx, \ldots\} {1,sinx,cosx,sin2x,cos2x,…,sinnx,cosnx,…}。这是傅里叶级数展开的基础，广泛应用于信号处理、图像处理等领域。

3. 幂函数系：

   • 定义：虽然幂函数系 { 1 , x , x 2 , x 3 , … } \{1, x, x^2, x^3, \ldots\} {1,x,x2,x3,…}在一般区间内不是正交的，但它在某些特定问题中仍具有重要作用。例如，在泰勒级数展开中，幂函数系用于表示函数的局部近似。

三、函数系的分类

函数系可以根据不同的标准和性质进行分类，以下是一些常见的分类方式：

1. 按正交性分类：

   • 正交函数系：如上所述，满足正交性条件的函数系。
   • 非正交函数系：不满足正交性条件的函数系。

2. 按函数类型分类：

   • 多项式函数系：由多项式函数构成的集合。
   • 三角函数系：由三角函数及其整数倍角函数构成的集合。
   • 指数函数系：由指数函数构成的集合，尽管它们不常作为一个完整的函数系出现，但在某些特定问题中有重要应用。
   • 其他类型函数系：如对数函数系、双曲函数系等，根据具体问题的需要而定。

3. 按应用领域分类：

   • 数学分析中的函数系：如用于逼近论的勒让德多项式、切比雪夫多项式等。
   • 物理学中的函数系：如量子力学中的本征函数系、波动方程中的解函数系等。
   • 工程学中的函数系：如信号处理中的傅里叶级数展开所用的三角函数系、图像处理中的小波函数系等。

请注意，以上分类方式并不是严格的，函数系可以根据不同的需求和标准进行分类。在实际应用中，函数系的选择和构造往往取决于具体问题的性质和需求。

什么是测度

测度（Measure）是一个数学术语，在数学和物理学等多个领域都有广泛应用。以下是关于测度的详细解释：

定义

数学上，测度是一个函数，它对一个给定集合的某些子集指定一个数，这个数可以比作大小、体积、概率等等。简单来说，测度就是用来量化集合或其子集的一种数学工具。

性质

测度函数遵循一些基本规则，这些规则确保了测度的合理性和一致性。主要包括：

1. 非负性：对于任意集合A，测度函数返回的结果不会是负数。
2. 集合可数加性：对于可数的A1、A2、…、An，它们满足两两不交，测度函数返回的结果等于它们分别测度的和，即m(A1∪A2∪…∪An)=m(A1)+m(A2)+…+m(An)。
3. 单调性：如果A包含在B中，则m(A)≤m(B)。
4. 正则性：对于任意可测集A，以及任意实数C>0，都存在紧致子集K，使得m(A-K)<C。
5. 完全性：每一个空集的测度是0。

种类

测度有多种类型，包括但不限于：

• 计数测度：对集合中的每个元素都赋予相同的正数（通常是1）作为测度。
• 哈尔测度：在局部紧群上定义的测度，具有特殊的性质，如左不变性和右不变性。
• 勒贝格测度：在实数集或其子集上定义的测度，是测度论中最基本也是最重要的测度之一。
• 概率测度：当测度的值域为[0,1]且全集的测度为1时，该测度被称为概率测度，在概率论中有广泛应用。

应用

测度理论在数学和物理学中都有广泛的应用。例如：

• 在概率论中：测度用于量化随机事件的概率，如连续分布中的概率密度函数就是通过积分得到的测度。
• 在物理学中：量子力学和相对论等理论中的波函数如果符合某些基本要求，则被称为可测函数，可以对其进行测度运算以得到物理系统在不同状态下的概率分布。
• 在几何学中：测度用于测量曲面或封闭曲线的长度、面积等几何量。

总结

测度是数学中一个重要的概念，它提供了一种量化集合或其子集大小的方法。通过测度函数，我们可以更加精确地描述和分析各种数学和物理现象。

计算测度的公式

计算测度的公式并不是单一的，因为它依赖于具体的测度类型和所应用的领域。测度是一个广泛的数学概念，用于量化集合或其子集的大小、体积、概率等。以下是一些常见测度的计算公式和说明：

1. 长度（一维测度）

• 直线距离：通过两点坐标的勾股定理计算，公式为：$d=\sqrt{(x_2-x_1{)}^2+(y_2-y_1{)}^2}$。这个公式用于计算两点之间的直线距离。

2. 面积（二维测度）

• 矩形面积：计算公式为：$A=\text{长}\times \text{宽}$。
• 圆面积：计算公式为：$A=\pi r^2$，其中$r$是圆的半径。
• 三角形面积：计算公式为：$A=\frac{1}{2}\times \text{底边长}\times \text{高}$。

3. 体积（三维测度）

• 立方体体积：计算公式为：$V=\text{长}\times \text{宽}\times \text{高}$。
• 圆柱体体积：计算公式为：$V=\pi r^{2}h$，其中$r$是底面圆的半径，$h$是高。
• 球体体积：计算公式为：$V=\frac{4}{3}\pi r^3$，其中$r$是球的半径。

4. 概率测度

在概率论中，测度用于量化随机事件的概率。概率测度的计算通常依赖于事件的概率分布函数或密度函数。例如，对于连续分布，概率可以通过对概率密度函数在指定区间上的积分来计算。

5. 其他测度

• 勒贝格测度：在实数集或其子集上定义的测度，是测度论中最基本也是最重要的测度之一。勒贝格测度的计算通常涉及复杂的数学理论，如集合的划分、可测集的构造等。
• 哈尔测度：在局部紧群上定义的测度，具有特殊的性质，如左不变性和右不变性。哈尔测度的计算也涉及复杂的数学理论。

注意事项

• 测度的计算公式取决于具体的测度类型和所应用的领域。
• 在实际应用中，需要根据具体情况选择合适的测度类型和计算公式。
• 对于复杂的测度问题，可能需要借助专业的数学工具或软件进行计算。

由于测度是一个广泛的数学概念，并且涉及多个领域和复杂的数学理论，因此无法给出一个统一的计算公式。以上提供的公式仅是一些常见测度的示例。在实际应用中，需要根据具体情况选择合适的测度类型和计算公式。

勒贝格积分

是现代数学中的一个重要积分概念，它扩展了传统积分运算的适用范围，并提供了更一般的积分定义和计算方法。以下是对勒贝格积分的定义、计算及例子的详细描述：

一、定义

勒贝格积分是以法国数学家昂利·勒贝格命名的，他于1904年引入了这一积分定义。勒贝格积分将积分运算扩展到任何测度空间中，并允许对更广泛的函数进行积分。在最简单的情况下，勒贝格积分可以看作是对一个非负函数的积分，其值等于该函数图像与轴之间“面积”的某种广义度量。

具体来说，设$E$是实数集$R$上的一个可测集，$f(x)$是定义在$E$上的非负可测函数。则$f(x)$在$E$上的勒贝格积分定义为：

$${\int }_{E}f(x)dx=\sup \left\{{\int }_E\varphi (x)dx:\varphi (x)\text{ 是 }E\text{ 上的非负简单函数，且 }0\le \varphi (x)\le f(x)\right\}$$

这里，非负简单函数是指那些取值有限个非负常数的函数，且每个常数值只在可测集上取得。这个定义通过一系列非负简单函数来逼近原函数，并取这些逼近函数积分的上确界作为原函数的勒贝格积分。

二、计算

勒贝格积分的计算方法相对复杂，但可以通过一系列定理和性质来简化。以下是一些与计算相关的定理和方法：

1. 单调收敛定理：如果非负函数列 { f n ( x ) } \{f_n(x)\} {fn​(x)}在可测集$E$上单调增加且逐点收敛到函数$f(x)$，则${\lim }_{n\to \infty }{\int }_E{f}_n(x)dx={\int }_{E}f(x)dx$。
2. 法图引理：如果非负函数列 { f n ( x ) } \{f_n(x)\} {fn​(x)}在可测集$E$上逐点收敛到函数$f(x)$，且对任意$n$，${\int }_E{f}_n(x)dx\le M$（其中$M$是某个常数），则${\lim }_{n\to \infty }{\int }_E{f}_n(x)dx={\int }_{E}f(x)dx$。
3. 逐项积分定理：如果 { f n ( x ) } \{f_n(x)\} {fn​(x)}是可测集$E$上的一列非负可测函数，则${\int }_E{\sum }_{n=1}^{\infty }{f}_n(x)dx={\sum }_{n=1}^{\infty }{\int }_E{f}_n(x)dx$（假设右边的级数收敛）。

在实际问题中，勒贝格积分的计算往往需要结合具体问题的特性和上述定理来进行。

三、例子

考虑狄利克雷函数$D(x)$，其定义为：

$$D(x)=\{\begin{array}{ll}1,& \text{如果 }x\text{ 是有理数}\\ 0,& \text{如果 }x\text{ 是无理数}\end{array}$$

这个函数在实数集上几乎处处不连续，因此没有黎曼积分。但是，在勒贝格积分的框架下，我们可以计算它在整个实数集$R$上的积分。由于有理数集$Q$在实数集$R$中是可数的，因此其勒贝格测度为0（即$m(Q)=0$）。而无理数集$Q^c$（即$R-Q$）是$R$的剩余部分，其勒贝格测度为无穷大（即$m(Q^c)=+\infty$）。因此，狄利克雷函数在整个实数集上的勒贝格积分为：

$${\int }_{R}D(x)dx=1\cdot m(Q)+0\cdot m(Q^c)=1\cdot 0+0\cdot +\infty =0$$

这个例子展示了勒贝格积分在处理不连续函数时的优势。

在测度论中，可测映象（或称为可测映射）和可测空间是两个核心概念，它们对于理解测度论的基本结构和性质至关重要。以下是对这两个概念的详细解释：

可测映象（可测映射）

定义：
$$\begin{gathered} 设(X,F)和(Y,G)是两个可测空间，其中X和Y是非空集合， \\ F是X的一个\sigma 代数，G是Y的一个\sigma 代数。 \\ 称从X到Y的映射f \end{gathered}$$为可测映射，$$\begin{gathered} 如果对于G中的任意集合B， \\ f的逆映射f^{-1}(B)（即所有映射到B中的X中元素的集合） \\ 都属于F。简言之，可测映射保持可测集的可测性。 \end{gathered}$$

性质：

• 可测映射的复合映射也是可测的。即，如果f:X→Y和g:Y→Z都是可测映射，那么复合映射g∘f:X→Z也是可测的。
• 如果Y是拓扑空间，并且G是Y的博雷尔σ代数，那么从X到Y的连续映射通常是可测的（在X和Y都赋予相应的博雷尔σ代数时）。

判定方法：
在实际应用中，判断一个映射是否可测可能比较复杂，因为需要验证所有可测集的逆映射是否仍然是可测的。然而，如果G是由某个简单的集类生成的σ代数，那么判定过程可以简化。

可测空间

定义：
设X是一个非空集合，F是X的一个σ代数（即F是一个包含空集和X的集合系，且对可数并集运算封闭，同时对补集运算封闭）。则称(X,F)为一个可测空间。F中的元素称为X中的可测集。

例子：

• 当F是Rⁿ中的博雷尔集类B时，(Rⁿ,B)称为博雷尔可测空间。
• 当F是Rⁿ中的勒贝格可测集类L时，(Rⁿ,L)称为勒贝格可测空间。

性质：

• 在一个可测空间上可以定义不止一种测度。测度是定义在可测集上满足特定条件的非负集函数，如可数可加性等。
• 可测空间是测度的定义域，没有测度定义的空间不能称为测度空间。

综上所述，可测映象和可测空间是测度论中的基本概念，它们之间有着紧密的联系。可测映象是保持可测集可测性的映射，而可测空间则是测度的定义域。这两个概念共同构成了测度论的基础框架。
可测映射和可测空间在测度论中确实存在紧密的关系。以下是它们之间关系的详细解释：

定义关系

• 可测空间：设X是一个非空集合，F是X的一个σ代数（即F是一个包含空集和X的集合系，且对可数并集运算封闭，同时对补集运算封闭）。则称(X,F)为一个可测空间。F中的元素称为X中的可测集。
• 可测映射：设(X,F)和(Y,G)是两个可测空间，其中X和Y是非空集合，F是X的一个σ代数，G是Y的一个σ代数。称从X到Y的映射f为可测映射，如果对于G中的任意集合B，f的逆映射f^(-1)(B)（即所有映射到B中的X中元素的集合）都属于F。

关系详解

1. 定义域与值域：

   • 可测映射的定义域和值域分别是两个可测空间。这意味着可测映射是在两个具有明确可测集结构的空间之间建立的映射关系。

2. 可测性的保持：

   • 可测映射的关键性质在于它能够保持可测集的可测性。即，如果Y中的某个集合B是可测的（根据G的定义），那么通过可测映射f映射回X中的集合f^(-1)(B)也必须是可测的（根据F的定义）。

3. 测度论的基础：

   • 可测空间和可测映射共同构成了测度论的基础。可测空间提供了测度的定义域，而可测映射则允许我们在不同的可测空间之间建立联系，从而进行更复杂的测度论分析。

4. 应用：

   • 在实际应用中，可测映射经常用于将复杂的问题简化为更易于处理的形式。例如，在积分理论中，可测映射允许我们将一个复杂函数分解为一系列简单函数的线性组合，从而更容易地计算其积分。

总结

可测映射和可测空间在测度论中相互依存、密不可分。可测空间为可测映射提供了定义域和值域的背景结构，而可测映射则通过保持可测集的可测性来扩展和深化测度论的分析能力。这种关系使得测度论能够成为一个强大而灵活的数学工具，广泛应用于概率论、统计学、物理学等多个领域。

参考文献

1.文心一言

2.《邓肯-马尔科夫过程论》