条件期望

张真人第二节课讲Rao-Blackwell 不等式,顺便科普了一下条件期望。

自己下来看笔记时发现条件期望是一个很有意思的概念,找了一个比较全面的课间分享给用到或者对条件期望感兴趣的同学。

课间第一部分引入条件期望,第二部分通过例子强调了条件期望是一个变量,第三部分证明了条件期望的一些性质,第四部分笔者现在还看不懂。

 

 

### 条件期望的概念及其在朴素贝叶斯中的应用 条件期望是一种统计学工具,用于描述随机变量 \(Y\) 在另一个随机变量 \(X\) 给定时的平均行为。形式上,如果已知 \(X=x\),则条件期望表示为: \[ E[Y|X=x] = \sum_y y \cdot P(Y=y | X=x) \] 对于离散型随机变量而言,上述公式可以通过求和的方式计算[^1]。 #### 朴素贝叶斯中的条件期望 在朴素贝叶斯算法中,主要关注的是后验概率 \(P(Y=C_k | X)\),即给定输入特征向量 \(X\) 后属于类别 \(C_k\) 的概率。然而,在某些扩展场景下,可能需要考虑目标值的期望估计而非单纯的分类标签预测。此时,条件期望便成为一种重要的分析手段。 具体地,当朴素贝叶斯被应用于回归问题或者连续输出建模时,可以利用学到的概率分布来估算条件期望。例如,设 \(f(x)\) 表示某个函数映射关系,则有如下表达式成立: \[ f(x) = E[Y|X=x] = \int y p(y|x) dy \] 这里假设 \(p(y|x)\) 是由朴素贝叶斯推导出来的条件密度函数[^4]。 以下是实现这一过程的一个简单伪代码框架: ```python def compute_conditional_expectation(prior_probs, conditional_probs): """ 计算朴素贝叶斯下的条件期望 参数: prior_probs: list[float], 类别的先验概率列表 conditional_probs: dict[list[float]], 每个类别的条件概率字典 返回: float, 输入样本对应的条件期望值 """ total_sum = 0.0 for class_label, prob in enumerate(conditional_probs.values()): posterior_prob = (prob * prior_probs[class_label]) / sum( [prior_probs[i]*cond_p for i, cond_p in enumerate(conditional_probs.values())]) # 假设每个类别对应一个数值y_i y_i = get_class_value(class_label) total_sum += y_i * posterior_prob return total_sum ``` 注意以上代码仅为示意用途,实际部署需依据特定应用场景调整逻辑细节[^3]。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值