参数化方法与贝叶斯决策-CSDN博客

本文链接：https://blog.csdn.net/wangqianqianya/article/details/103414220

假定数据D= { xt }t 服从某个分布xt ~ p (x)

参数化方法

先验概率与后验概率

从原因到结果的论证称为“先验”；从结果到原因的论证称为“先验”。

设A代表结果，B为发生A的原因，则

如何估计q ？

样本服从伯努利分布

伯努利分布：伯努利分布是一个离散型机率分布，是二项分布，N=1时的特殊情况。也即01分布。

$P(x=1)=p$ , $P(x=0)=1-p$ , 即 $P (x) = p^{x}(1-p)^{1-x}$

若x服从伯努利分布，则 $E(x)=p$ ， $D(x)=p(1-p)$

MLE估计

由 $P (x) = p^{x}(1-p)^{1-x}$ ，N次实验的结果为 x^t t=1,.....,N , $\pounds (p| D) = log \prod_{t=1}^{N} p^{x^{t}}(1-p)^{1-x^{t}}$

求得MLE： $p= \sum_{t=1}^{N}x_{t}/ N$

高斯/正态分布

$P(x)=N(\mu ,\delta ^{2})=\frac{1}{\sqrt{2\Pi }\delta}e^{-\frac{(x-\mu)^{2}}{2\delta ^{2}}}$

样本方差/总方差

注意样本方差：

总方差：

MLE估计

$m=\frac{\sum_{t=1}^{N}x^t}{N}$

$s^2=\tfrac{\sum_{t=1}^{N}(x^t-m)^2}{N}$

$P(c|x)=\frac{P(x,c)}{P(x)}=\frac{P(c) P(x|c)}{P(x)}$

在贝叶斯决策中，x为样本，c为类别

若有多个属性，即x=[x1,x2...]^T,则要求各属性条件独立假设：

$P(c|x)=\frac{P(c)}{P(x)} \prod_{d=1}^{d}P(x_{d}|c)$

推得当给定样本x，要判断所属类别时，我们需要计算出x属于每个类别的概率，取最大值，即

$P(c_{i}|x)=\frac{P(x,c_{i})}{P(x)}=\frac{P(c_{i}) P(x|c_{i})}{P(x)}=\frac{P(c_{i}) P(x|c_{i})}{ \sum_{k=1}^{k}P(x|c_{k})P(c_{k})}$

明确这题是用给出的训练数据学习得到一个朴素贝叶斯分类器，来预测数据x=(2,s)^T的类标记。
要预测x=(2,s)^T的类标记，我们就得算出P(Y=-1 | x)与P(Y=1 | x)，取最大值对应的Y作为结果，而 $P(Y|x)=\frac{P(Y)}{P(x)} \prod_{d=1}^{d}P(x_{d}|Y)$ ，分母一样，所以我们只用算出分子即可比较大小，即就是要计算 $P(Y)\prod_{d=1}^{d}P(x_{d} | Y)$
计算得P(Y=-1)=6/15=2/5 , P(x(1)=2 | Y=-1)=2/6=1/3 , P(x(2)=s | Y=-1)=3/6=1/2 , 所以P(Y=-1)P(x(1)=2 | Y=-1)P(x(2)=s | Y=-1)=1/15
计算得P(Y=1)=3/5 , P(x(1)=2 | Y=1)=1/3 , P(x(2)=s | Y=1)=1/9 , 所以P(Y=1)P(x(1)=2 | Y=1)P(x(2)=s | Y=1)=1/45
比较得P(Y=-1)P(x(1)=2 | Y=-1)P(x(2)=s | Y=-1)，所以预测数据x=(2,s)^T的类标记为Y^=-1