贝叶斯决策器简单讲解

微波遥感小白

于 2024-03-05 13:36:06 发布

阅读量1k

点赞数 15

分类专栏：机器学习文章标签：机器学习概率论算法数据挖掘

本文链接：https://blog.csdn.net/weixin_52257359/article/details/136473910

版权

机器学习专栏收录该内容

9 篇文章 0 订阅

订阅专栏

贝叶斯决策论是一种基于概率统计的决策方法，其原理是利用贝叶斯定理来计算在观察到的数据下，每个类别的后验概率，并基于这些后验概率来做出最优决策，以最小化预期损失或风险。

在贝叶斯决策论中，我们假设每个样本都属于某个类别，并通过计算后验概率来确定样本最有可能属于哪个类别。这里涉及到几个重要概念：

先验概率：在观察到任何数据之前，我们对每个类别的概率分布的猜测。这些概率通常基于领域知识或历史数据。
似然函数：给定数据样本，似然函数描述了每个类别生成该样本的可能性。似然函数通常基于统计模型或假设。
边际似然：观察到数据的概率，也称为证据。它是所有类别下生成给定数据的总体概率。
后验概率：给定观察到的数据后，每个类别的概率分布。根据贝叶斯定理，后验概率由先验概率和似然函数的乘积除以边际似然得到。
期望损失：对于一个特定的决策问题，期望损失是指在给定数据和决策规则的情况下，根据后验概率所计算得到的每个类别的条件风险的加权平均。

$\text{Expected Loss} = \sum_{i=1}^{K} \int_{\mathcal{X}} L(\theta_i, a(x)) p(x, \theta_i) dx$

其中，K是类别的数量， $\theta_i$ 表示第i个类别， $a(x)$ 是根据观察到的数据 x 所做出的决策， $p(x, \theta_i)$ 是给定类别 $\theta_i$ 下观察到数据 x的概率密度函数， $L(\theta_i, a(x))$ 是决策 $a(x)$ 在类别 $\theta_i$ 下的损失函数。
条件风险（Conditional Risk）：对于一个特定的决策 $a(x)$ 和一个特定的类别 $\theta_i$ ，条件风险是在给定数据x和决策 $a(x)$ 的情况下，所造成的损失。条件风险可以表示为：

$R(\theta_i | x) = \int_{\mathcal{A}} L(\theta_i, a) p(a | x) da$

其中， $\mathcal{A}$ 是所有可能的决策集合， $p(a | x)$ 是在给定数据 x的情况下，决策为 a的条件概率， $L(\theta_i, a)$ 是在真实类别为 $\theta_i$ 时选择决策a 所造成的损失。

期望损失和条件风险是贝叶斯决策论中重要的概念，它们帮助我们评估不同决策对于整体决策的影响，并帮助我们选择最优的决策规则来最小化损失或风险。

贝叶斯决策论的作用是能够自然地处理不确定性，并且可以灵活地将先验知识与观察到的数据相结合，从而得到更准确的分类结果。然而，贝叶斯决策论也面临着需要确定先验概率和似然函数的挑战，这通常需要领域知识或大量数据来支持。通过贝叶斯决策论，我们可以更好地理解和利用数据，从而做出更明智的决策。

极大似然估计

在贝叶斯分类器中，极大似然估计是一种常用的参数估计方法，用于估计分类器中的参数，例如类别的先验概率和特征的条件概率。极大似然估计的目标是找到使得观察到的数据在给定模型下出现的概率最大的参数值。

假设我们有一个二分类问题，其中类别分别为 $\theta_1$ 和 $\theta_2$ ，特征为x，我们希望估计两个类别的条件概率分布 $p(x | \theta_1)$ 和 $p(x | \theta_2)$ ，以及两个类别的先验概率 $p(\theta_1)$ 和 $p(\theta_2)$ 。

极大似然估计的步骤如下：

1. 似然函数：首先，我们定义似然函数 $L(\theta | x)$ ，表示在给定模型参数 $\theta$ 的情况下观察到数据x的概率。对于二分类问题，可以表示为：

$L(\theta_1 | x) = p(x | \theta_1) \quad \text{and} \quad L(\theta_2 | x) = p(x | \theta_2)$

2. 参数估计：然后，我们寻找使得似然函数最大化的参数值作为估计值。这可以通过最大化对数似然函数来实现，即找到使得对数似然函数 $\log L(\theta | x)$ 最大化的参数值。对于二分类问题，可以表示为：

$\hat{\theta}_1 = \arg \max_{\theta_1} \log L(\theta_1 | x) = \arg \max_{\theta_1} \log p(x | \theta_1)$
$\hat{\theta}_2 = \arg \max_{\theta_2} \log L(\theta_2 | x) = \arg \max_{\theta_2} \log p(x | \theta_2)$

3. 分类决策：最后，根据估计的参数值和贝叶斯决策规则，我们可以计算后验概率 $p(\theta_i | x)$ 并做出分类决策。

极大似然估计的优点是简单且直观，易于理解和实现。然而，它也存在一些缺点，例如对数据分布的假设过于简单可能导致估计结果不准确，以及可能出现过拟合的问题。

朴素贝叶斯分类器

朴素贝叶斯分类器是一种基于贝叶斯定理和特征条件独立假设的分类器。它被称为“朴素”是因为它假设特征之间是相互独立的，这意味着在给定类别的情况下，每个特征对于分类的贡献是相互独立的。尽管这个假设在现实世界中往往是不成立的，但朴素贝叶斯分类器在实践中表现出色，特别是在文本分类和垃圾邮件过滤等领域。

朴素贝叶斯分类器的基本原理如下：

1. 贝叶斯定理：朴素贝叶斯分类器基于贝叶斯定理，即对于一个给定的类别 $C_k$ ，样本 x属于该类别的后验概率可以表示为：

$P(C_k | x) = \frac{P(x | C_k) \cdot P(C_k)}{P(x)}$

2. 特征条件独立假设：朴素贝叶斯分类器假设在给定类别的情况下，每个特征 $x_i$ 对于分类的贡献是相互独立的。因此，可以将后验概率表示为特征的乘积形式：

$P(C_k | x) = \frac{1}{Z} P(C_k) \prod_{i=1}^{n} P(x_i | C_k)$

其中，Z 是用于归一化的因子， $P(x_i | C_k)$ 是在给定类别 $C_k$ 的情况下特征 $x_i$ 的条件概率。

3. 分类决策：根据后验概率，选择使得后验概率最大化的类别作为最终的分类结果。即：

$\hat{y} = \arg \max_{k} P(C_k) \prod_{i=1}^{n} P(x_i | C_k)$

朴素贝叶斯分类器的优点包括简单、易于实现、对小规模数据表现良好等。然而，由于其对特征独立性的假设，可能导致在某些情况下分类性能不佳。此外，朴素贝叶斯分类器对输入数据的分布假设较为简单，对于复杂的数据分布可能不够灵活。因此，在实际应用中，需要根据具体情况选择合适的分类器。

在现实任务中，朴素贝叶斯分类器可以根据任务的要求采用不同的使用方式：

高速预测需求：对于需要快速预测的任务，可以事先计算好并存储所有涉及的概率估值。这样，在进行预测时只需查表即可进行判别，避免了在预测阶段重新计算概率，提高了预测速度。
数据更替频繁：对于数据更替频繁的任务，可以采用懒惰学习方式，即先不进行任何训练，待收到预测请求时再根据当前数据集进行概率估值。这样可以避免频繁地重新训练模型，适用于数据变化较快的场景。
增量学习：对于数据不断增加的任务，可以在现有的概率估值基础上，仅对新增样本的属性值所涉及的概率估值进行计数修正，实现增量学习。这样可以在不重新训练整个模型的情况下，利用新数据不断改进模型的性能。

这些使用方式使得朴素贝叶斯分类器在不同场景下都能够灵活应用，并且能够满足不同任务的需求。

半朴素贝叶斯分类器

半朴素贝叶斯分类器是介于朴素贝叶斯分类器和完全贝叶斯网络之间的一种分类器。它在建模时允许特征之间存在一定程度的依赖关系，但仍保留了朴素贝叶斯分类器的简单性和高效性。半朴素贝叶斯分类器的主要思想是引入一个超父（super-parent）节点，将所有特征都连接到超父节点，然后根据数据学习特征之间的依赖关系。

具体来说，半朴素贝叶斯分类器中的超父节点起到了集成特征的作用，它可以看作是一个虚拟的特征，代表了所有特征的共同影响。在分类过程中，特征节点之间的依赖关系可以通过超父节点传递，从而在一定程度上考虑了特征之间的相互作用。

TAN (Tree Augmented naive Bayes) 是一种常见的半朴素贝叶斯分类器。它通过构建一棵最大带权生成树来确定特征之间的依赖关系，从而在保持简单性的同时考虑了特征之间的相互作用。TAN 在 Friedman 等人于1997年提出后，被广泛应用于文本分类等领域，取得了不错的效果。

AODE (Averaged One-Dependent Estimator) 是另一种半朴素贝叶斯分类器。它在建模时考虑了一阶依赖关系，即每个特征只依赖于类别和另一个特征。AODE 的思想是通过考虑一阶依赖关系来增加模型的灵活性，从而提高分类性能。Webb 等人于2005年提出了 AODE，它在某些数据集上表现出比传统的朴素贝叶斯分类器更好的性能。

总的来说，半朴素贝叶斯分类器通过在模型中引入一定程度的特征依赖关系，既保留了朴素贝叶斯分类器的简单性，又考虑了特征之间的相互作用，从而在某些情况下可以取得比朴素贝叶斯分类器更好的分类性能。

贝叶斯网

贝叶斯网络（Bayesian Network），又称信念网络（Belief Network）或概率有向无环图（Probabilistic Directed Acyclic Graph，PDAG），是一种用来建模随机变量之间依赖关系的图结构模型。它基于贝叶斯定理和图论的原理，能够表示变量之间的概率关系，并用于推断和预测。

贝叶斯网络由两部分组成：节点（Nodes）和有向边（Directed Edges）。节点表示随机变量，有向边表示变量之间的依赖关系。具体来说，每个节点表示一个随机变量，节点之间的有向边表示变量之间的因果或条件依赖关系。节点的状态取值可能是离散的，也可能是连续的。

贝叶斯网络的特点包括：

有向无环图结构：贝叶斯网络是一个有向无环图，这意味着变量之间的依赖关系不能形成循环，保证了模型的一致性和可解释性。
概率表示：贝叶斯网络使用概率分布来表示变量之间的依赖关系。每个节点都有一个条件概率表（Conditional Probability Table，CPT），表示在其父节点条件下该节点的概率分布。

贝叶斯网络在人工智能、数据挖掘、生物信息学等领域得到了广泛应用，特别是在风险分析、诊断系统、推荐系统等方面具有重要作用。它能够有效地表示变量之间的复杂关系，提供了一种直观和有效的建模方式。

学习

贝叶斯网络中的学习主要包括两个方面：结构学习（Structure Learning）和参数学习（Parameter Learning）。结构学习是指确定贝叶斯网络的拓扑结构，即确定节点之间的有向连接关系；参数学习是指估计贝叶斯网络中每个节点的条件概率表（CPT），即给定父节点条件下每个节点的概率分布。

结构学习

结构学习的目标是从数据中推断出最可能的贝叶斯网络结构。常见的方法包括：

基于约束条件的方法：根据领域知识或先验信息，给定一些结构约束，如最大父节点数、最大路径长度等，然后搜索最优结构。
评分函数方法：定义一个评分函数来评估给定网络结构的质量，常用的评分函数包括BIC（Bayesian Information Criterion）、BDeu（Bayesian Dirichlet equivalent uniform）等。然后通过搜索算法（如穷举搜索、启发式搜索、遗传算法等）找到使评分函数最大的网络结构。
约束和评分函数相结合的方法：综合利用领域知识和数据信息，结合约束条件和评分函数进行结构学习。

参数学习

参数学习的目标是估计贝叶斯网络中每个节点的条件概率表（CPT）。常见的方法包括：

极大似然估计：假设数据服从多项式分布（对于离散变量）或高斯分布（对于连续变量），通过最大化似然函数来估计参数。
贝叶斯估计：引入先验概率分布，通过贝叶斯推断来估计参数。
EM算法：利用EM算法来迭代地估计参数，其中E步计算期望，M步更新参数。
增量学习：针对动态数据，可以采用增量学习的方法，在已有的模型基础上增量地更新参数。

贝叶斯网络的学习是一个复杂的过程，需要综合考虑数据特点、领域知识和模型复杂度等因素。结构学习和参数学习的目标是提高模型的泛化能力和预测性能，使得贝叶斯网络能够更好地适应实际问题的需求。

推断

在贝叶斯网络中，推断（Inference）指的是根据已知的观测数据，推断未观测变量的状态或计算特定变量的后验概率分布。推断在贝叶斯网络中具有重要的意义，它可以用于预测、决策和对未知变量进行推断等任务。

贝叶斯网络的推断可以通过几种方法来实现，常见的方法包括：

变量消除（Variable Elimination）：变量消除是一种精确推断方法，它通过对变量进行逐步消除来计算目标变量的后验概率分布。该方法可以有效地处理中等规模的网络，但对于大型网络来说计算复杂度较高。
近似推断方法：对于大型网络或计算复杂度高的情况，可以采用近似推断方法来近似计算后验概率分布。常见的近似推断方法包括：
- 随机采样方法（如马尔可夫链蒙特卡洛，MCMC）：通过从后验概率分布中抽样来估计分布的性质。
- 变分推断（Variational Inference）：通过找到一个近似分布来近似真实的后验概率分布，通常使用优化方法来找到最优近似分布。
- 近似贝叶斯推断方法：如Loopy Belief Propagation（LBP），通过在网络上迭代传播消息来计算近似后验概率分布。
- 吉布斯采样
  吉布斯采样（Gibbs Sampling）是一种马尔可夫链蒙特卡洛（Markov Chain Monte Carlo，MCMC）方法，用于从多维概率分布中抽取样本。它适用于无法直接从分布中抽样的情况，但可以通过蒙特卡洛方法来近似地抽取样本。
  
  吉布斯采样的基本思想是利用条件概率来逐步更新每个变量的值，从而在整个联合分布上进行随机游走，最终收敛到目标分布。具体步骤如下：
  - 初始化每个变量的值。
  - 对于每个变量，依次固定其他变量的值，根据条件概率分布更新当前变量的值。
  - 重复步骤2直到达到收敛条件。
条件查询：在贝叶斯网络中，可以进行条件查询，即已知部分变量的取值，推断其他变量的状态。条件查询可以通过变量消除或其他推断方法来实现。

EM算法

EM算法（Expectation-Maximization Algorithm）是一种用于求解含有隐变量的概率模型参数的迭代优化算法。它通过迭代地进行两个步骤：E步（Expectation Step）和M步（Maximization Step），来逐步优化模型参数，直到收敛到局部最优解。

基本思想

E步（Expectation Step）：在E步中，根据当前的模型参数估计值，计算隐变量的条件概率分布的期望值。这一步求解的是在给定观测数据和当前参数下，隐变量的期望值。
M步（Maximization Step）：在M步中，根据E步得到的隐变量的期望值，重新估计模型参数，使得似然函数最大化。这一步求解的是在给定观测数据和隐变量的期望值下，模型参数的最大似然估计值。
迭代更新：通过交替进行E步和M步，直到收敛为止。每一次迭代都会增大似然函数的值，直到找到局部最优解。

EM算法的应用场景

含有隐变量的概率模型：EM算法常用于含有隐变量的概率模型的参数估计，例如高斯混合模型、隐马尔可夫模型等。
缺失数据的处理：当数据中存在缺失值时，可以将缺失数据视为隐变量，利用EM算法进行参数估计和缺失数据的填充。

EM算法的特点和优缺点

优点：EM算法在含有隐变量的概率模型中具有广泛的应用，可以有效地处理缺失数据和非监督学习问题，且收敛速度通常较快。
缺点：EM算法对初始值敏感，可能会陷入局部最优解；另外，EM算法并不能保证收敛到全局最优解，而只能保证收敛到局部最优解。

微波遥感小白

关注

15
点赞
踩
25

收藏

觉得还不错? 一键收藏
1
评论
贝叶斯决策器简单讲解

贝叶斯决策论是一种基于概率统计的决策方法，其原理是利用贝叶斯定理来计算在观察到的数据下，每个类别的后验概率，并基于这些后验概率来做出最优决策，以最小化预期损失或风险。在贝叶斯决策论中，我们假设每个样本都属于某个类别，并通过计算后验概率来确定样本最有可能属于哪个类别。：在观察到任何数据之前，我们对每个类别的概率分布的猜测。这些概率通常基于领域知识或历史数据。：给定数据样本，似然函数描述了每个类别生成该样本的可能性。似然函数通常基于统计模型或假设。：观察到数据的概率，也称为证据。
复制链接

扫一扫