【证明】期望风险最小化等价于后验概率最大化

LoveFishO

已于 2022-11-03 09:36:03 修改

阅读量453

点赞数

分类专栏：数学文章标签：学习

于 2022-11-03 09:25:18 首次发布

本文链接：https://blog.csdn.net/qq_39415941/article/details/127663647

版权

数学专栏收录该内容

1 篇文章 0 订阅

订阅专栏

引言

在《统计学习方法》一书中，详细说明了期望风险最小化与后验概率最大化之间的关系，但是其中的公式推导过程有所省略，这篇文章作为补充说明。

证明

首先我们假设损失函数为0-1损失函数

$\begin{cases} 1，\quad Y \neq f(X) \\ 0， \quad Y=f(X) \end{cases}$

则期望风险为

$\begin{aligned} R_{exp}(f)=R_{exp}(L(Y, f(X))) &=\int_{X \cdot Y} L(y,f(x))P(y,x)dxdy\\ & =\int_{X \cdot Y} L(y,f(x))P(y|x)P(x)dxdy \\ & =\int_{X} \int_{Y}L(y,f(x))P(y|x)dyP(x)dx = \int_{X} \Bigg(\int_{Y}L(y,f(x))P(y|x)dy\Bigg) P(x)dx \\ & = E_{x} \Bigg(\int_{Y}L(y,f(X))P(y|X)dy\Bigg) \end{aligned}$

在朴素贝叶斯估计中是数据是离散的，故

$\begin{aligned} R_{exp}(f)=E_{x} \Bigg(\int_{Y}L(y,f(X))P(y|X)dy\Bigg) &=E_{x}\Bigg(\sum_{k}^{K}L(c_{k},f(X))P(c_{k}|X)\Bigg) \end{aligned}$

因此如果要使得期望风险最小化只需要对 $X = x$ 逐个极小化即可

$\begin{aligned} F(x) &= \underset{ y \in Y }{\operatorname{argmin}} \sum_{k}^{K}L(c_{k},y)P(c_{k}|X=x) \quad \because y=f(X=x) \\ & \because Equation(1) \quad when \quad y=c_{k} \quad L(c_{k},y) =0 \\ & = \underset{ y \in Y }{\operatorname{argmin}} \sum_{k}^{K}P(c_{k} \neq y|X=x) \\ & \because Each \quad X=x \quad has \quad only \quad one \quad c_{k}=y=f(X=x) \\ & = \underset{ y \in Y }{\operatorname{argmin}}(1 - P(c_{k} = y|X=x)) \\ & = \underset{ y \in Y }{\operatorname{argmax}}P(c_{k} = y|X=x) \\ \end{aligned}$