6.概率论

哈哈拉拉hxl

已于 2024-05-16 14:31:49 修改

阅读量761

点赞数 23

分类专栏：动手学深度学习文章标签：概率论

于 2024-05-16 14:30:28 首次发布

本文链接：https://blog.csdn.net/qq_41238579/article/details/138951376

版权

动手学深度学习专栏收录该内容

17 篇文章 0 订阅

订阅专栏

概率论在深度学习中也有着广泛的应用。由于深度学习模型通常包含大量的参数和复杂的结构，因此在实际应用中很难直接找到最优解。此时，我们可以利用概率论中的相关概念和方法，如贝叶斯推断、最大似然估计等，来估计模型的参数或评估模型的性能。

此外，深度学习中的很多方法，如正则化、dropout等，都是基于概率论的思想来设计的。这些方法通过引入随机性来降低模型的复杂度或防止过拟合，从而提高模型的泛化能力。因此，掌握概率论的基础知识对于理解和应用深度学习中的这些方法也是非常重要的。

概率论的不同学派和它们的基本观点

概率论的定义与重要性：
- 概率是用来描述随机事件发生的可能性的数字量度。
- 在我们的生活中，不确定性和随机性无处不在，而概率论正是量化这种不确定性的学科。
- 深度学习中的许多方面，如模型的准确率、不确定性和损失函数，都与概率论密切相关。
概率论的学派：
- 频率学派：
  - 代表人物：雅各布·博努利
  - 观点：概率是通过大量重复实验得到的频率的近似值。
  - 优点：直观、易于理解
  - 缺点：重复实验成本高，且不适用于无法重复的实验场景
- 古典学派（又称等可能学派）：
  - 观点：在缺乏先验知识的情况下，认为所有未知事件发生的概率是相等的。
  - 示例：抛硬币、掷骰子
- 贝叶斯学派：
  - 观点：概率是表示不确定性，而非随机性本身。概率反映了观察者对于某一事件的知识状态。
  - 强调：在有限信息下做出预测，并随着新信息的获取更新概率。
概率论在深度学习中的应用：
- 模型的准确率、错误率可以用概率表示。
- 模型的输出（如分类任务中的预测概率）反映了模型对结果的不确定性。
- 损失函数（如交叉熵损失）衡量了模型预测概率与实际结果之间的差异。

随机变量和概率分布是概率论中的核心概念，它们在深度学习中也扮演着重要的角色。

随机变量

随机变量是用来描述随机事件结果的变量。在深度学习的应用中，随机变量可以是图像分类任务中的图像、预测任务的文本、股价预测任务的股价等。随机变量可以是离散的（取值是有限个或无限个可列出的值）或连续的（取值是一个连续的范围）。

离散随机变量：例如，抛硬币实验中，正面朝上的次数就是一个离散随机变量，其取值范围是0, 1, 2, ...。
连续随机变量：例如，人的身高就是一个连续随机变量，其取值是一个连续的范围，如1.5米到2米之间。

概率分布

概率分布描述了随机变量取各个可能值的概率。对于离散随机变量，概率分布通常用一个列表或表格来表示；对于连续随机变量，概率分布通常用一个概率密度函数（PDF）来描述。

概率密度函数（PDF）：对于连续随机变量，概率密度函数描述了随机变量在某个特定值附近的概率分布情况。概率密度函数的值不是概率，而是概率的密度，即单位长度内的概率。概率密度函数的积分（在某一区间内）给出了该区间内随机变量取值的概率。

例如，正态分布（高斯分布）是一种常见的连续概率分布，其概率密度函数为：

概率与概率密度

概率是描述随机事件发生的可能性的量度，其值在0到1之间。对于连续随机变量，我们不能直接计算某个具体值的概率（因为连续随机变量的取值是无限多的），而是计算某个区间内的概率。这个概率可以通过概率密度函数在该区间内的积分来得到。

对于连续随机变量，概率密度函数（PDF, Probability Density Function）和累积分布函数（CDF, Cumulative Distribution Function）是两个非常重要的概念。下面我将详细解释这两个概念，并给出联合概率和条件概率的直观解释。

概率密度函数（PDF）

概率密度函数描述了连续随机变量在某个特定值附近的概率分布情况。对于连续随机变量X，其概率密度函数f(x)满足以下条件：

f(x) ≥ 0，对于所有x。
∫f(x)dx = 1（在整个实数域上积分）。

概率密度函数的值不是概率，而是概率的密度，即单位长度内的概率。要计算随机变量在某个区间[a, b]内的概率，需要对概率密度函数在该区间内进行积分：

P(a ≤ X ≤ b) = ∫_a^b f(x)dx

累积分布函数（CDF）

累积分布函数F(x)给出了随机变量X小于或等于某个值x的概率：

F(x) = P(X ≤ x)

CDF是PDF的积分，即：

F(x) = ∫_(-∞)^x f(t)dt

联合概率和条件概率

联合概率P(A, B)表示事件A和事件B同时发生的概率。在二维平面上，如果事件A和事件B分别由两个区域表示，那么联合概率可以用这两个区域交集的面积与整个样本空间面积的比例来表示。

条件概率P(A|B)表示在事件B发生的条件下，事件A发生的概率。它可以用以下公式计算：

P(A|B) = P(A, B) / P(B)

这个公式表明，条件概率是联合概率除以事件B的概率。在二维平面上，条件概率P(A|B)可以用事件A和事件B交集的面积与事件B面积的比例来表示。

相互转化

联合概率和条件概率之间可以相互转化。已知联合概率P(A, B)和事件B的概率P(B)，可以计算条件概率P(A|B)。反过来，已知条件概率P(A|B)和事件B的概率P(B)，也可以计算联合概率P(A, B)：

P(A, B) = P(A|B) × P(B)

这个公式在深度学习和概率统计中非常有用，它允许我们在知道条件概率和某个事件的概率时，计算联合概率。

贝叶斯定理（Bayes' Theorem）

贝叶斯定理描述了两个条件概率之间的关系，它给出了在事件B已经发生的情况下，事件A发生的概率。数学表达式如下：

P(A∣B)=P(B)P(B∣A)P(A)

其中：

P(A∣B) 是在事件B发生的条件下事件A发生的概率（后验概率）。
P(B∣A) 是在事件A发生的条件下事件B发生的概率（似然性）。
P(A) 是事件A发生的概率（先验概率）。
P(B) 是事件B发生的概率（证据因子或标准化常量）。

极大似然估计（Maximum Likelihood Estimation, MLE）

然后求解：

$(\theta_{\text{MLE}} = \arg\max_{\theta} \ell(\theta|X))$

概率密度与概率

在连续随机变量的情况下，我们使用概率密度函数（Probability Density Function, PDF）来描述随机变量取某个值的概率。概率密度函数在某个点的值并不直接表示该点发生的概率，而是表示该点附近的概率密度。概率密度函数在某个区间上的积分才表示该区间内随机变量取值的概率。

总结

贝叶斯定理和极大似然估计是统计学和机器学习中非常重要的概念。贝叶斯定理用于根据已知信息更新事件的概率，而极大似然估计则用于估计模型参数，使得观测到的数据出现的概率最大。在深度学习中，许多模型都是基于极大似然估计的思想来训练的。同时，概率密度函数在描述连续随机变量的概率分布时起着关键作用。

哈哈拉拉hxl

关注

23
点赞
踩
26

收藏

觉得还不错? 一键收藏
0
评论
6.概率论

贝叶斯定理和极大似然估计是统计学和机器学习中非常重要的概念。贝叶斯定理用于根据已知信息更新事件的概率，而极大似然估计则用于估计模型参数，使得观测到的数据出现的概率最大。在深度学习中，许多模型都是基于极大似然估计的思想来训练的。同时，概率密度函数在描述连续随机变量的概率分布时起着关键作用。
复制链接

扫一扫