ML-朴素贝叶斯-先验分布/后验分布/似然估计

引言

介绍先验分布/后验分布/似然估计
参考 一个例子搞清楚（先验分布/后验分布/似然估计）

问题

朴素贝叶斯中有没有涉及到参数的计算？（把先验概率、条件概率看作参数）
计算先验概率、条件概率时使用的贝叶斯估计、最大似然估计

朴素贝叶斯

首先开宗明义，朴素贝叶斯属于生成模型一类，原因在于它试图学习到数据背后的生成机制，生成方法由训练数据学习联合概率分布P(X,Y)，尽管只是很粗线条的描述。(统计学习方法P52更详细)

定义：朴素贝叶斯是基于贝叶斯定理和特征条件独立假设独立的分类方法。具体地，对于给定的训练数据，首先基于特征条件独立假设（naive，天真，因为把模型想的这么简单）学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

介绍（最新更新2018.02.22）

参考这里

朴素贝叶斯（naive Bayes）法是是基于贝叶斯定理 和 特征条件独立假设的分类方法，对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合分布概率；然后基于此模型，对给定的输入x，再利用贝叶斯定理求出其后验概率最大的输出y。

朴素在哪里？

朴素贝叶斯的关键在于朴素，体现在两个独立性假设上：

1. 数据样本独立同分布

这一点其实没什么好说的，以至于大家经常习惯性忽视或者省略这一点，但为了在理论逻辑层面厘清概念还是有必要点出来。数据样本之间独立同分布意味着各个数据样本点之间没有依赖关系，也没有时序关系（或者时序关系不重要），是从同一个分布经过多次采样得到的。如果不是同分布，是由多个分布产生的，那就是混合模型了，典型的如混合高斯模型；如果不独立，样本之间存在某种关系，那就需要把这种依赖关系建模进模型，如几天的天气情况可以使用马尔科夫网络建模。

2. 特征条件独立性假设

这个是NB区别于其他模型的特点，也是它长得朴素的原因。假设一个样本x有n个特征，比如垃圾邮件过滤，一封邮件就是一个样本，是否是垃圾就是他的类别或者说标签，我们需要把文本邮件预处理成特定模板，比如把邮件x表示成一个n维度向量，其中每一维代表一种特征（比如是否包含关键词"促销"，是否包含关键词"优惠"等等）。特征条件独立性假设说的就是在特定类别下这些特征之间是独立的。做出条件独立假设的原因当然不是为了让自己看起来朴素而已，而是有着实际的好处的。开篇我们说了，NB是生成模型，需要学习联合概率分布P(X,Y), 也等价于要学习先验分布P(Y)以及条件概率分布P(X|Y),

如果不进行独立性假设，根据全概率公式，P(X|Y)的计算复杂度会非常的高，而在特征条件独立性假设的庇护下，式子就变得清爽很多，直接相乘就好了：

贝叶斯公式 + 条件独立假设 = 朴素贝叶斯方法

参考1（最新更新2019-02-26）

一文详解朴素贝叶斯(Naive Bayes)原理

1、为什么要有特征条件独立假设
--------最新更新2019-02-26 start------
p(Fn|C,F1,F2…Fn-1)之所以参数多的意思是，分母p(C,F1,F2…Fn-1)的计算是靠频率统计计算的。排列组合的情况过多，不好求p(C,F1,F2…Fn-1)
--------最新更新2019-02-26 end------
如果没有独立假设，则很难计算类条件概率p(X=x|Y=ck)，也就是下图的p(F1,F2,…Fn|C)

详细见原文

2、计算朴素贝叶斯参数类的先验概率p(Y=ck) 以及 类条件概率p(X=x|Y=ck)

特征为离散值时用的频率统计。（统计学习方法中使用的是极大似然估计/贝叶斯估计）

特征值是连续型变量时:
用的是计算高斯分布的参数，从而求的类条件概率。（统计学习方法中使用的是极大似然估计/贝叶斯估计）

讲解联合概率分布的展开的样子，但不是太懂如何计算非独立的多变量的联合概率分布

我们这么想，假如没有这个假设，那么我们对右边这些概率的估计其实是不可做的，这么说，我们这个例子有4个特征，其中帅包括{帅，不帅}，性格包括{不好，好，爆好}，身高包括{高，矮，中}，上进包括{不上进，上进}，那么四个特征的联合概率分布总共是4维空间，总个数为233*2=36个。

联合概率分布

联合概率分布记作P(X,Y) 或者 P(XY)

EM算法系列(一)-联合概率分布
机器学习-联合概率分布笔记

面试

逻辑回归与朴素贝叶斯有什么区别

朴素贝叶斯的参数估计

极大似然估计

贝叶斯估计

知识点补充

独立事件与非独立事件，条件概率

详细内容看独立事件与非独立事件，条件概率

注意是：任意事件，无论是否是独立/非独立事件

注意是：不相关的事件
x，y是俩个不相关的事件，那么满足p(x,y) = p(x)*p(y).