【机器学习与深度学习理论要点】16. 什么是二元分类,朴素贝叶斯分类?

二元分类

1)什么是二元分类?

二元分类又称逻辑回归,是将一组样本划分到两个不同类别的分类方式。

2)如何实现二元分类

逻辑回归属于广义线性回归模型,使用线性模型计算函数值,在通过逻辑函数将联系值进行离散化处理。逻辑函数又称sigmoid函数,表达式为:
y = 1 1 + e − t y = \frac{1} {1+e^{-t}} y=1+et1
该函数能将 ( − ∞ , + ∞ ) (-\infty,+\infty) (,+)的值压缩到(0,1)区间,通过选取合适的阈值,转化为两个离散值(大于0.5为1,小于0.5为0)

朴素贝叶斯分类

1)贝叶斯定理

贝叶斯定理描述为:
p ( A ∣ B ) = p ( A ) p ( B ∣ A ) p ( B ) p(A|B) = \frac{p(A)p(B|A)}{p(B)} p(AB)=p(B)p(A)p(BA)
其中,P(A)和P(B)是A事件和B事件发生的概率,这两个事件时独立的,不相互影响的(朴素的含义);P(A|B)称为条件概率,表示B事件发生条件下,A事件发生的概率,P(A)也称为先验概率,P(A|B)也称为后验概率。先验概率主要根据统计获得,后验概率利用贝叶斯定理计算后并根据实际情况进行修正。其公式推导过程:
P ( A , B ) = P ( B ) P ( A ∣ B ) P ( B , A ) = P ( A ) P ( B ∣ A ) P(A,B) = P(B)P(A|B)\\ P(B,A) = P(A)P(B|A) P(A,B)=P(B)P(AB)P(B,A)=P(A)P(BA)
其中P(A,B)称为联合概率,指事件B发生的概率,乘以事件A在事件B发生的条件下发生的概率。因为P(A,B) = P(B,A),所以有:
P ( B ) P ( A ∣ B ) = P ( A ) P ( B ∣ A ) P(B)P(A|B) = P(A)P(B|A) P(B)P(AB)=P(A)P(BA)
两边同时除以P(B),则得到贝叶斯定理的表达式。

2)什么是朴素贝叶斯分类

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。“朴素”的含义为:假设问题的特征变量都是相互独立地作用于决策变量的,即问题的特征之间都是互不相关的。

3)朴素贝叶斯分类的特点

①优点

  • 逻辑性简单
  • 算法较为稳定。当数据呈现不同的特点时,朴素贝叶斯的分类性能不会有太大的差异。
  • 当样本特征之间的关系相对比较独立时,朴素贝叶斯分类算法会有较好的效果。

②缺点

  • 特征的独立性在很多情况下是很难满足的,因为样本特征之间往往都存在这相互关联,如果在分类过程中出现这种问题,会导致分类的效果大大降低。

4)什么时候使用朴素贝叶斯

  • 根据先验概率计算后验概率的情况,且样本特征之间独立性较强。
  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YEGE学AI算法

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值