先验概率和后验概率_机器学习tips(七):生成模型与判别模型 & 先验概率与后验概率

61668ad0908c039b15bee019a624b4e9.png

生成模型与判别模型

  • 监督学习的任务是学习一个模型,对给定的输入预测相应的输出
  • 这个模型的一般形式为一个决策函数或一个条件概率分布(后验概率):

8806426bcb95637697550ac5e5bdec1a.png
    • 决策函数:输入 X 返回 Y;其中 Y 与一个阈值比较,然后根据比较结果判定 X 的类别
    • 条件概率分布:输入 X 返回 X 属于每个类别的概率;将其中概率最大的作为 X 所属的类别
  • 监督学习模型可分为生成模型判别模型
    • 判别模型直接学习决策函数或者条件概率分布
      • 直观来说,判别模型学习的是类别之间的最优分隔面,反映的是不同类数据之间的差异
    • 生成模型学习的是联合概率分布P(X,Y),然后根据条件概率公式计算 P(Y|X)

ac04147897aeeefaf15ddd942588c267.png

两者之间的联系

  • 由生成模型可以得到判别模型,但由判别模型得不到生成模型。
  • 当存在“隐变量”时,只能使用生成模型隐变量:当我们找不到引起某一现象的原因时,就把这个在起作用,但无法确定的因素,叫“隐变量”

优缺点

  • 判别模型
    • 优点
      • 直接面对预测,往往学习的准确率更高
      • 由于直接学习 P(Y|X)f(X),可以对数据进行各种程度的抽象,定义特征并使用特征,以简化学习过程
    • 缺点
      • 不能反映训练数据本身的特性
      • ...
  • 生成模型
    • 优点
      • 可以还原出联合概率分布 P(X,Y),判别方法不能
      • 学习收敛速度更快——即当样本容量增加时,学到的模型可以更快地收敛到真实模型
      • 当存在“隐变量”时,只能使用生成模型
    • 缺点
      • 学习和计算过程比较复杂

常见模型

  • 判别模型
    • K 近邻、感知机(神经网络)、决策树、逻辑斯蒂回归、最大熵模型、SVM、提升方法、条件随机场
  • 生成模型
    • 朴素贝叶斯、隐马尔可夫模型、混合高斯模型、贝叶斯网络、马尔可夫随机场

先验概率与后验概率

条件概率(似然概率)

  • 一个事件发生后另一个事件发生的概率。
  • 一般的形式为 P(X|Y),表示 y 发生的条件下 x 发生的概率。
  • 有时为了区分一般意义上的条件概率,也称似然概率

先验概率

  • 事件发生前的预判概率
  • 可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。
  • 一般都是单独事件发生的概率,如 P(A)P(B)

后验概率

  • 基于先验概率求得的反向条件概率,形式上与条件概率相同(若 P(X|Y) 为正向,则 P(Y|X) 为反向)

贝叶斯公式

53618890402760b6890e742584085b7b.png

——END——

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值