张志华-统计机器学习-概率论导论

最新推荐文章于 2024-09-24 09:31:53 发布

Steve_Huxtable

最新推荐文章于 2024-09-24 09:31:53 发布

阅读量678

点赞数 1

分类专栏：统计机器学习

本文链接：https://blog.csdn.net/hdyshr/article/details/107911185

版权

统计机器学习专栏收录该内容

5 篇文章 13 订阅

订阅专栏

统计机器学习-概率论导论

文章目录

统计机器学习-概率论导论

本节内容延续第一节的内容，进行简短回顾，并对概率论中概率测度相关知识进行介绍。

一. 复习

在采用贝叶斯派的方法进行参数估计（parameter estimate）过程中，对某个统计模型中的参数θ进行估计时，我们首先对θ的分布进行了人为的限定，如符合高斯分布、Gamma分布或Beta分布。

由贝叶斯公式： $P(\theta|X) =\frac{P(X|\theta)P(\theta)}{P(X, \theta)}$ 可知，若使P(θ|X)得到最大值，需得到等式右侧的三个概率，再进一步计算得到θ的期望E[θ]。

观察等式右侧，首先先验P(θ)人为限定。限定θ分布后，似然P(X|θ)可得到表达式。然而，位于分母部分的联合分布P(X, θ)的计算在实践中往往出现困难。对分母部分（上一节我提到可对该边缘似然进行积分，但实际情况往往无法积分得到）常采用抽样的方法进行估计，所用方法即如雷贯耳的马尔科夫链蒙特卡洛（Markov Chain Monte Carlo，MCMC）。

二. 参数方法和非参数方法

在进行统计学入门时，大家往往会遇到两类统计学假设检验方法，即参数方法（parametric）和非参数（nonparametric）方法。

简单来讲，参数方法即有明确的固定数量的参数，而非参数方法则是根据训练数据集中数据的不同，可能具有不同数量的参数，而非没有参数。

比如：

在进行logistic regression时，根据sigmoid function的形式：
$h(\theta)=\frac{1}{1 + e^{-X^{T}\theta}}$
参数向量θ数量为1，不会因为X中数据条目的增加而发生改变。该方法即为参数方法。

然而，

在K近邻算法中，每当更新聚类中心(cluster centroid)时，都需要计算与当前数据集中各个点的距离，那么该算法的参数可认为与样本点的个数相同。因此，该方法为非参数方法。

最后需要说明，参数方法和非参数方法往往重叠，即参数方法若无法应用时，可以采用非参数方法进行假设检验、区间估计等。

三. 测度空间的建立

概率论经苏联的伟大数学家柯尔莫哥洛夫的公理化后，至今已经成为了重要的数学分支。近年的菲尔兹奖也多次奖励给高等概率论相关方向的数学家。

在学习统计机器学习过程中，并不需要大量应用公理化概率论的相关方法，但每个学习者都应该了解相关的知识，当后期处理一些较复杂的问题时，有相应数学知识的支持帮助很大。

下面逐步介绍本节课程中老师介绍的概率论相关知识：

样本空间（sample space）和事件（event）：样本空间就是所有试验（trial）结果构成的集合，常表示为Ω；事件则是样本空间的一个子集（subset），即
$A_{i} \subseteq \Omega$
进一步我们给出以下定理（事件列）：

若Ai为单调递增的事件列，则有：
$A_{1} \subseteq A_{2} \subseteq ... \subseteq A_{n}$
单调递增事件列的极限有：
$\lim_{n\to \infty}A_{n} = \bigcup_{i=1}^{\infty}A_{i}$
同理，单调递减事件列也采用类似方法构造。

为什么我们要构造以上的单增和单减事件列？
事实上，在一般应用概率论知识时，我们并不需要考虑极限情况下的概率问题，甚至往往针对某个事件，我们可以明确地计算出其发生的概率大小。
然而，如果真正面对一个极其复杂的概率问题时，我们还是否可以计算？比如如下问题：

李明约张芳在公园见面，张芳会在第二天的早8点到8点半之间到达，在该时段内，每时每刻其到达的可能性均相同。那么张芳在8点15分13秒到14秒之间到达公园的概率是多少？
继续缩小时段，在8点15分13.1秒到8点15分13.2秒之间到达的概率是多少？
这个时段无限缩小下去，在什么情况下概率无法计算？

可见，仅根据当前的知识，上述问题（3）完全无法回答。为了处理概率论不严谨的问题，以集合论为基础的现代概率论诞生。而上述介绍的事件列，在集合论中即为集合列，构造单调递增或递减序列，进而处理极限问题是从数学分析到概率论的一贯通用方法。

介绍至此，我们有了处理“事件列”的工具。然而，“事件”似乎仍没有被良好定义。例如，张芳在某一时刻到达公园是否是一个事件？我们的样本空间是8点到8点半这一个时段，从中取出一个点，应当构成一个事件，那么为什么这个事件的概率为0（这个还没有说明，不过某时刻到达的概率确实为0）？于是，数学家继续结合集合论和实分析的方法，对概率空间进行了定义。下面我们逐步介绍。

σ域（σ-field）
σ域（或称σ代数）由样本空间Ω生成。对于σ域有如下定义：
$\mathcal{A}为\sigma-field$ i.f.f. 以下三条：
$\begin{aligned} \phi \in \mathcal{A} \qquad\qquad\qquad(1) \\ If \ A \in \mathcal{A}\ \quad \Rightarrow\quad \ A^{c} \in \mathcal{A}\qquad(2) \\ If \ A_{i} \in \mathcal{A}\quad \Rightarrow \quad\bigcup_{i=1}^{\infty}A_{i} \in \mathcal{A} \qquad(3) \end{aligned}$

由De Morgan律和以上第2、3条性质，由可列可加性进一步导出：
$\ A_{i} \in \mathcal{A}\quad \Rightarrow \quad\bigcap_{i=1}^{\infty}A_{i} \in \mathcal{A} \qquad(4)$ 在定义了σ-域后，我们得到了可测空间 $(\Omega, \mathcal{A})$ ，至此还有点摸不到头脑，但构造可测空间的目的是让处于某个 $(\Omega, \mathcal{A_{i}})$ 中的事件 $A_{j}(\in\mathcal{A_{i}})$ ，都可以采用某种度量方法进行度量，上文中所提到的事件是否可以计算概率也就获得了解决的可能性。

于是，最后一步也就呼之欲出了，即：用怎样的度量方法，对事件进行度量？

测度（measure）
当有可测空间 $(\Omega, \mathcal{A})$ 后，可进一步定义测度，其满足下列三条性质：
$\begin{aligned} \mu (A_{i}) \in [0, \infty)\qquad (1)\\ \mu (\phi) = 0 \qquad \qquad (2) \\ If \quad A_{i} \cap A_{j} = 0 \quad w.r.t \quad \forall i \neq j \qquad \quad \\ \Rightarrow \mu (\cap A_{i}) = \Sigma \mu (A_{i}) \qquad (3) \end{aligned}$