朴素贝叶斯分类器（Naive Bayesian Classifier）

最新推荐文章于 2019-09-19 20:11:10 发布

恬恬麻麻

最新推荐文章于 2019-09-19 20:11:10 发布

阅读量217

点赞数

原

朴素贝叶斯分类器（Naive Bayesian Classifier）

2017年12月07日 11:20:21 蓝色枫魂阅读数 25804

                                                  </div>
    <div class="operating">
              </div>
  </div>
</div>

                版权声明：本文为博主原创文章，欢迎转载，但请注明出处，谢谢愿意分享知识的你~~                    https://blog.csdn.net/qq_32690999/article/details/78737393                </div>
                      <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-cd6c485e8b.css">
                          <div id="content_views" class="markdown_views prism-atom-one-dark">
        <!-- flowchart 箭头图标 勿删 -->
        <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
          <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
        </svg>
        <p><strong>写作本博文只为学习与分享知识。所以如果本系列教程对你有帮助，麻烦不吝在<a href="https://github.com/bluemapleman/MapleAI" rel="nofollow" target="_blank">github的项目</a>上点个star吧！非常感谢！</strong></p>

本博客是基于对周志华教授所著的《机器学习》的“第7章贝叶斯分类器”部分内容的学习笔记。

朴素贝叶斯分类器，顾名思义，是一种分类算法，且借助了贝叶斯定理。另外，它是一种生成模型（generative model），采用直接对联合概率P(x,c)建模，以获得目标概率值的方法。

预备知识

先验概率与后验概率

先验概率（摘自维基百科）：

In Bayesian statistical inference, a prior probability distribution, often simply called the prior, of an uncertain quantity is the probability distribution that would express one's beliefs about this quantity before some evidence is taken into account.

 
 
 
 1

翻译：在贝叶斯统计推断论中，一个未确定数目的先验概率分布（一般简称为先验）是一种表达了某人对于该数目的信仰的一种概率分布，这种信仰是没有考虑到一些（当前的）证据的。

解释：通俗来说，对于某一个概率事件，我们都会有基于自己已有的知识，对于这个概率事件会分别以什么概率出现各种结果会有一个预先的估计，而这个估计并未考虑到任何相关因素。

举例来说，假如你考试没及格，老师要求大家拿卷子回家给爸妈签字，按照你已有的对爸妈脾气的了解，以及他们对自己成绩的要求，你在不考虑其它任何因素的情况下，自己已经有了一个对把卷子拿回家给他们签字的后果预估（先验）：

被胖揍一顿：70%
被简单地数落一下：20%
被温情地鼓励：10%

暂停，让我们再来看看后验概率是什么：

In Bayesian statistics, the posterior probability of a random event or an uncertain proposition is the conditional probability that is assigned after the relevant evidence or background is taken into account.  "Posterior", in this context, means after taking into account the relevant evidence related to the particular case being examined.

 
 
 
 1

翻译：在贝叶斯推断中，一个随机事件的后验概率是指：当与事件相关的一些证据或背景也被考虑进来时的条件概率。“后验”在这个语境下即指的是在考虑了与要被检验的特定事件相关的证据。

所以后验概率就是在先验概率的基础上加了一层“考虑”：结合我们已有的知识，将与待检验事件（即我们正在估计概率的随机事件）相关的因素也考虑进去后，我们队随机事件的概率的预估。

回到卷子签字的例子。

假设，你惶恐地拿着卷子回到家中，还没开口说考试的事，就看到爸爸妈妈在那儿雀跃，好似疯了一样。你一问，他们告诉你说家里中了1亿的大奖，以后就直接过上荣华富贵的生活啦！

这时，你小眼珠子一转，根据当前家里中了亿元大奖的情况，对把不及格试卷给爸妈签字的后果有了新的预估（后验）：

被胖揍一顿：0%
被简单地数落一下：0%
被温情地鼓励：100%

没错，因为你觉得按现在家里的情况来看，爸妈会觉得你这一次考试没及格算个屁，以后直接花钱把你送到国外去留学，回来继承家产就是了，什么考试啥的见鬼去吧~~

贝叶斯定理（Bayesian Theorem）

贝叶斯定义（摘自维基百科）：

In probability theory and statistics, Bayes’ theorem (alternatively Bayes’ law or Bayes’ rule) describes the probability of an event, based on prior knowledge of conditions that might be related to the event. For example, if cancer is related to age, then, using Bayes’ theorem, a person’s age can be used to more accurately assess the probability that they have cancer, compared to the assessment of the probability of cancer made without knowledge of the person’s age.

翻译：在概率论与统计学中，贝叶斯定理（或称贝叶斯法则、贝叶斯规则）描述了一个事件的可能性，这个可能性是基于了预先对于一些与该事件相关的情况的知识。举例来说，如果癌症和年龄有关，那么使用贝叶斯定理的话，相比根本不了解关于此人的任何其他信息，知道了它的年龄的话就可以用来更准确地帮助评估它得癌症与否的概率。

那么其实很明显了，这里的“可能性”也是考虑了与随机事件相关的因素的，所以贝叶斯定理所阐述的也就是后验概率的获得方法。

用数学公式来表述贝叶斯定理：

$P(c|x)=\frac{P(c)P(x|c)}{P(x)}=\frac{P(x,c)}{P(x)}$ $x_{i}$ 是连续值属性，那么我们就肯定不能这样做了，而是得用概率密度函数，即假定 $p (s i ∣ c) \sim N (μ$