ML之朴素贝叶斯

1.贝叶斯分类器

1.1 简介

贝叶斯决策论是概率框架下实施决策的基本方法。对于分类任务来说,在所有相关概率都已知的理想情况下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

1.1.2 贝叶斯分类的基础-贝叶斯定理

P ( B ∣ A ) = P ( A ∣ B ) P ( B ) P ( A ) P(B|A)= {P(A|B)P(B) \over P(A)} P(BA)=P(A)P(AB)P(B)
朴素贝叶斯分类的定义:
朴素贝叶斯分类过程
分类流程如下图:
在这里插入图片描述

1.2 朴素贝叶斯法(naive Bayes)

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的数据集,首先基于特征条件独立假设学习输入输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。
朴素贝叶斯是典型的生成学习方法。

1.2.1 朴素贝叶斯法的学习与分类

  • 基本方法

  • 后验概率最大化的含义

1.2.2 朴素贝叶斯法的参数估计

  • 极大似然估计

  • 学习与分类算法

    • 朴素贝叶斯算法(naive Bayes algorithm)

1.计算先验概率以及条件概率

P ( Y = c k ) = ∑ i = 1 N I ( y i = c k ) N , k = 1 , 2 , . . . , K P(Y=c_k)={\displaystyle\sum_{i=1}^N I(y_i=c_k) \over N},k=1,2,...,K P(Y=ck)=Ni=1NI(yi=ck),k=1,2,...,K

P ( X ( j ) = a j l ∣ Y = c k ) = ∑ i = 1 N I ( x i ( j ) = a j l , y i = c k ) ∑ i = 1 N I ( y i = c k ) P(X^{(j)}=a_{jl}|Y=c_k)={{\displaystyle\sum_{i=1}^N I(x_i^{(j)}=a_jl,y_i=c_k)} \over {\displaystyle\sum_{i=1}^N I(y_i=c_k)}} P(X(j)=ajlY=ck)=i=1NI(yi=ck)i=1NI(xi(j)=ajl,yi=ck)
j = 1 , 2 , . . . , n ; l = 1 , 2 , . . . , S j ; k = 1 , 2 , . . . , K j=1,2,...,n; l=1,2,...,S^j; k=1,2,...,K j=1,2,...,n;l=1,2,...,Sj;k=1,2,...,K

2.对于给定的示例 x = ( x ( 1 ) , x ( 2 ) , . . . , x ( n ) ) T x=(x^{(1)},x^{(2)},...,x^{(n)})^T x=(x(1),x(2),...,x(n))T,计算:
P ( Y = c k ) ∏ j = 1 n P ( X ( j ) = x ( j ) ∣ Y = c k ) P(Y=c_k) \displaystyle\prod_{j=1}^n P(X^{(j)}=x^{(j)}|Y=c_k) P(Y=ck)j=1nP(X(j)=x(j)Y=ck)

k = 1 , 2 , . . . , K k=1,2,...,K k=1,2,...,K

3.确定实例的类

y = a r g max ⁡ c k P ( Y = c k ) ∏ j = 1 n P ( X ( j ) = x ( j ) ∣ Y = c k ) y = arg \displaystyle\max_{c_k} P(Y=c_k) \displaystyle\prod_{j=1}^n P(X^{(j)}=x^{(j)}|Y=c_k) y=argckmaxP(Y=ck)j=1nP(X(j)=x(j)Y=ck)

  • 参考:
    • 李航 《统计学习方法 第二版》
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值