一些数学基础概念

一些数学基础概念

概率密度函数(PDF)

概率密度函数（Probability Density Function，简称 PDF）是描述连续随机变量的概率分布的一种函数。它用来表示随机变量在各个取值区间内的概率密度。

1. 定义

对于一个连续随机变量 ( X )，概率密度函数 ( f(x) ) 满足以下条件：

• f(x）> 0 对于所有的 x 。

• f(x) 是一个在整个定义域上可积的函数。

• f(x) 的积分在整个可能的取值范围内为 1，即：
  $${\int }_{-\infty }^{\infty }f(x)dx=1$$

• 概率 ( X ) 落在某个区间 ( [a, b] ) 内的概率可以通过对 ( f(x) ) 在这个区间上的积分来计算：
  $$P(a\le X\le b)={\int }_a^{b}f(x)dx$$

2. 与离散随机变量的区别

对于离散随机变量，我们使用概率质量函数（PMF）来描述随机变量的概率分布，PMF 直接给出每个可能取值的概率。而对于连续随机变量，概率密度函数 ( f(x) ) 并不直接给出某个特定点的概率，因为在连续情况下，随机变量取到任何一个具体值的概率为零。相反，概率密度函数描述的是随机变量取某一小区间内值的“密度”。

3. 常见的概率密度函数

• 正态分布（高斯分布）：
  正态分布的概率密度函数为：
  $$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

  其中μ是均值，σ是方差。

• 指数分布：
  指数分布的概率密度函数为：
  $$f(x)=\lambda \exp (-\lambda x)\text{对于 }x\ge 0$$

  其中 λ是参数，表示事件发生的速率。

• 均匀分布：
  均匀分布在区间 ( [a, b] ) 上的概率密度函数为：
  $$f(x)=\frac{1}{b-a}\text{对于 }a\le x\le b$$

  在区间外，f(x) = 0 。

4. 应用

• 概率计算：通过对 PDF 在给定区间的积分，可以计算随机变量在该区间内的概率。
• 统计推断：PDF 在参数估计和假设检验中起着重要作用。很多统计方法假设数据来自某个已知的分布，通过 PDF 对数据进行建模。
• 信息熵：PDF 可以用于计算连续随机变量的熵，量化不确定性。

5. PDF的性质

• 非负性：PDF 的值始终非负，这反映了概率的基本性质。

• 归一化：PDF 的积分为 1，这确保了总概率为 1。

• 期望值：随机变量 ( X ) 的期望值 ( \mathbb{E}[X] ) 可以通过 PDF 计算：
  $$\mathbb{E}[X]={\int }_{-\infty }^{\infty }xf(x)dx$$

总结

概率密度函数是描述连续随机变量分布的重要工具。通过 PDF，可以计算随机变量在不同区间的概率，并分析其统计特性。理解和应用 PDF 是概率论和统计学的基础。

累积分布函数(CDF)

累积分布函数（Cumulative Distribution Function）的缩写。它是用来描述随机变量的分布情况的一个函数，表示随机变量小于或等于某一特定值的概率。

具体来说，给定一个随机变量 X，它的累积分布函数 F(x) 定义为：
$$F(x)=P(X\le x)$$

这意味着，F(x) 是当随机变量 X 取值小于或等于 x 时的概率。

累积分布函数有几个重要的性质：

1. 单调非减性：F(x) 是一个非减函数，即当 x_1 <= x_2 时，F(x_1) <= F(x_2) 。
2. 取值范围：F(x) 的取值范围是 [0, 1]，即 0 <= F(x) < 1 。
3. 边界条件：对于连续型随机变量，当 x 趋近于负无穷大时，F(x) 趋近于 0；当 x 趋近于正无穷大时，F(x) 趋近于 1。

CDF函数在统计学和概率论中应用广泛，例如用来计算概率，进行假设检验，或者生成随机数等。

期望(E)

期望，在概率论和统计学中，也称为数学期望或期望值，是描述随机变量平均值的一个概念。期望值提供了一个随机变量在大量重复实验中的平均值。

具体来说，设 X 是一个离散型随机变量，其取值为 x_1, x_2, …, x_n ，对应的概率为 P(X = x_1), P(X = x_2), … , P(X = x_n) 。那么 X 的期望 E(X) 定义为：
$$E(X)=\sum _{i=1}^n{x}_i\cdot P(X=x_i)$$

对于连续型随机变量，期望定义为随机变量的概率密度函数 f(x) 与随机变量值 x 的乘积在其定义域上的积分：

$$E(X)={\int }_{-\infty }^{\infty }x\cdot f(x)dx$$

期望的意义：

1. 平均值：期望值可以被视为随机变量取值的加权平均，其中权重为每个取值出现的概率。

2. 中心趋势：在某些情况下，期望值可以表示数据的集中趋势，即数据的“中心”。

3. 线性性质：期望值具有线性性质，即对于任意常数 a 和 b ，以及随机变量 X 和 Y ：
   $$E(aX+bY)=aE(X)+bE(Y)$$

期望值在许多应用场景中都非常重要，比如在经济学中用来计算预期收益，在物理学中用来表示系统的平均状态等。

随机采样(Random Sampling)

随机采样是从一个总体中以随机方式抽取样本的过程。其目的是通过从总体中抽取部分样本来推断总体的特性或进行统计分析。随机采样确保每个个体或元素都有相同的概率被选中，从而避免选择过程中的偏差，保证样本的代表性。

常见的随机采样方法包括：

1. 简单随机采样：

   • 每个个体都有相同的概率被选中。
   • 通过抽签、随机数表或计算机生成随机数来实现。

2. 系统随机采样：

   • 将总体中的个体按照一定顺序排列，然后按固定间隔（如每隔第 ( k ) 个）抽取样本。
   • 这种方法适用于大规模数据，但如果总体中的个体有某种周期性特征，可能会导致偏差。

3. 分层随机采样：

   • 将总体按照某些特征（如性别、年龄、收入等）分成不同的子群体（层），然后从每个子群体中随机抽取样本。
   • 这种方法可以确保各子群体在样本中都有代表性，适用于总体中存在明显分层的情况。

4. 聚类随机采样：

   • 将总体分成多个组（称为“聚类”），然后随机选择一些组，再从这些组中抽取样本。
   • 这种方法适用于总体中的个体自然聚集在一起的情况，如按地区或机构分组。

随机采样的意义：

• 代表性：随机采样的目的是为了确保样本能够代表总体，从而使得从样本中得出的推论对总体具有普遍性。
• 减少偏差：通过随机化的过程，减少选择样本时可能引入的偏差，提高结果的可靠性。
• 统计推断：随机采样是许多统计分析方法的基础，例如置信区间估计、假设检验等。

随机采样在调查研究、实验设计、数据分析等多个领域中广泛应用，是科学研究中获取数据的重要手段。