概率论基础知识整理：概率分布、边缘/条件概率、期望、协方差

最新推荐文章于 2024-08-13 20:11:45 发布

奔跑的Yancy

最新推荐文章于 2024-08-13 20:11:45 发布

阅读量1.8w

点赞数 9

分类专栏：必要的数学知识必要的数学知识 in ML 文章标签：概率论协方差期望边缘概率条件概率

本文链接：https://blog.csdn.net/lyxleft/article/details/84866130

版权

本文详细介绍了概率论的基础知识，包括概率分布（离散型和连续型）、边缘概率和条件概率的概念及计算方法。此外，还阐述了期望值、方差和协方差的定义及其在衡量随机变量变异性和相关性中的作用。通过对概率密度函数的讨论，以及边缘概率分布和条件概率的求解，深入理解概率论的核心概念。

摘要由CSDN通过智能技术生成

一、概率分布

离散型变量的概率分布可以用 概率质量函数(probability mass function, PMF) 来描述。我们通常用大写字母 P 来表示概率质量函数。通常每一个随机变量都会有一个不同的概率质量函数，并且读者必须根据随机变量来推断所使用的 PMF，而不是根据函数的名称来推断;例如，P(x) 通常和 P(y) 不一样。

概率质量函数将随机变量能够取得的每个状态映射到随机变量取得该状态的概率。x = x 的概率用 P(x) 来表示，概率为 1 表示 x = x 是确定的，概率为 0 表示 x = x 是不可能发生的。有时为了使得PMF的使用不相互混淆，我们会明确写出随机变量的名称:P (x = x)。有时我们会先定义一个随机变量，然后用 ∼ 符号来说明它遵循的分布:x ∼ P (x)。

概率质量函数可以同时作用于多个随机变量。这种多个变量的概率分布被称为联合概率分布(joint probability distribution)。P (x = x, y = y) 表示 x = x 和 y = y 同时发生的概率。我们也可以简写为 P (x, y)。

当我们研究的对象是连续型随机变量时，我们用 概率密度函数(probability density function, PDF)而不是概率质量函数来描述它的概率分布。概率密度函数 p(x) 并没有直接对特定的状态给出概率，相对的，它给出了落在面积为 δx 的无限小的区域内的概率为：

p(x)δx

我们可以对概率密度函数求积分来获得点集的真实概率质量。特别地，x 落在集合 S 中的概率可以通过 p(x) 对这个集合求积分来得到。在单变量的例子中，x 落在区间 [a, b] 的概率是：