朴素贝叶斯分类

贝叶斯决策论

设有 N 个类别,即 Y={c1,c2,...,cN} λij 是将一个实际为 cj 的样本标记为 ci 的损失。那么,将样本 x 分类为 ci 的期望损失为:

R(ci|x)=j=1NλijP(cj|x)

我们要求的就是找到一个判断准则 h 使其总风险最小:
R(h)=Ex[R(h(x)|x)]

显然,若要最小化 R(h) 只需在每个样本上选择能使 R(ci|x) 最小的标记:
h(x)=argminR(c|x)

当我们的目标是最小化分类错误率时,条件风险为:
R(c|x)=1P(c|x)

于是:
h(x)=argmaxP(c|x)

贝叶斯公式:

P(c|x)=P(x,c)P(x)=P(c)P(x|c)P(x)

朴素贝叶斯分类

不难发现,基于贝叶斯公式来估计后颜概率 P(c|x) 的主要困难在于:类条件概率 P(x|c) 是所有属性上的联合概率,难以从有限的训练样本直接估计而得。
为了避开这个障碍,朴素贝叶斯分类器采用了 “属性条件独立假设”:对于已知类别,假设所有属性互相独立。那么:

P(c|x)=P(c)P(x|c)P(x)=P(c)P(x)i=1dP(xi|c)

其中, d 为属性数目,xi x 在第 i个属性上的取值。
由于对于所有类别来说 P(x) 相同,因此贝叶斯判断准则有:

hnb(x)=argmaxcyP(c)i=1dP(xi|c)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值