概率论:p(x|theta)和p(x;theta)的区别

本文深入探讨了最大似然估计过程中,概率表达式中的竖杠与分号的区别,解释了它们在条件概率与待估参数表示上的含义,并通过实例说明了频率派与贝叶斯派在参数理解上的分歧。

http://blog.csdn.net/pipisorry/article/details/42715245

求解最大似然估计时发现有两种表示方法

 

from:Gregor Heinrich - Parameter estimation for text analysis



from:http://blog.csdn.net/pipisorry/article/details/42649657


有上述两种方法表示的原因

p(x|theta)不总是代表条件概率;也就是说p(x|theta)不代表条件概率时与p(x;theta)等价

而一般地

写竖杠表示条件概率,是随机变量;

写分号p(x; theta)表示待估参数(是固定的,只是当前未知),应该可以直接认为是p(x),加了;是为了说明这里有个theta的参数,p(x; theta)意思是随机变量X=x的概率。在贝叶斯理论下又叫X=x的先验概率。


 

对于P(y|x;theta)的解释


from:andrew ng机器学习讲义中,关于表示方法

 

对于两种表示法,频率派和贝叶斯派的分歧

频率派认为参数为固定的值,是指真实世界中,参数值就是某个定值。

贝叶斯派认为参数是随机变量,是指取这个值是有一定概率的



from:http://blog.csdn.net/pipisorry/article/details/42715245


### 概率论与数理统计知识点公式总结 #### 一、概率论基础知识 概率论是研究随机现象规律性的数学分支。以下为关键知识点: - **概率的定义**:对于一个事件 $ A $,其概率 $ P(A) $ 满足 $ 0 \leq P(A) \leq 1 $。若 $ S $ 表示样本空间,则 $ P(S) = 1 $[^2]。 - **条件概率**:给定事件 $ B $ 发生的情况下,事件 $ A $ 的条件概率为 $ P(A|B) = \frac{P(A \cap B)}{P(B)} $,其中 $ P(B) > 0 $[^3]。 - **贝叶斯公式**:用于计算后验概率,表达式为 $ P(A_i|B) = \frac{P(B|A_i)P(A_i)}{\sum_{j=1}^n P(B|A_j)P(A_j)} $。这一公式在机器学习领域具有广泛应用。 #### 二、随机变量及其分布 随机变量分为离散型连续型两类。 - **离散型随机变量**:常见分布包括二项分布 $ B(n, p) $ 泊松分布 $ Poisson(\lambda) $。例如,二项分布的概率质量函数为 $ P(X = k) = C_n^k p^k (1-p)^{n-k} $[^5]。 - **连续型随机变量**:正态分布 $ N(\mu, \sigma^2) $ 是最常用的分布之一,其概率密度函数为 $ f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}} $[^1]。 #### 三、数理统计基础 数理统计关注如何从数据中提取信息并进行推断。 - **参数估计**:点估计常用方法包括矩估计法最大似然估计法。例如,最大似然估计通过最大化似然函数 $ L(\theta) = \prod_{i=1}^n f(x_i|\theta) $ 来确定参数 $ \theta $ 的值[^4]。 - **假设检验**:用于判断某一假设是否成立。常见的检验方法包括 $ t $ 检验卡方检验[^5]。 #### 四、协方差与相关性 协方差矩阵特征值分解在数据分析中扮演重要角色。 - **协方差矩阵**:设数据矩阵 $ X $ 是一个 $ n \times p $ 矩阵,协方差矩阵 $ \Sigma_X $ 的元素表示变量之间的线性关系。例如,第 $ i $ 个变量的方差为 $ \sigma_i^2 $,变量 $ i $ $ j $ 的协方差为 $ \sigma_{ij} $。 - **特征值分解**:在主成分分析(PCA)中,通过协方差矩阵的特征值分解提取主要成分。 #### 五、算法应用 概率论与数理统计的知识广泛应用于机器学习深度学习。 - **梯度下降法**:利用偏导数求解优化问题,目标是最小化损失函数 $ L(\theta) $[^1]。 - **贝叶斯分类器**:基于后验概率 $ P(C|X) $ 进行分类决策。 ```python # 示例代码:正态分布的概率密度函数 import numpy as np import matplotlib.pyplot as plt def normal_pdf(x, mu=0, sigma=1): return (1 / (np.sqrt(2 * np.pi) * sigma)) * np.exp(-((x - mu)**2) / (2 * sigma**2)) x = np.linspace(-5, 5, 100) y = normal_pdf(x) plt.plot(x, y) plt.title("Normal Distribution PDF") plt.show() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值