Task04了解朴素贝叶斯的理论

最新推荐文章于 2021-01-07 22:01:11 发布

Ember's Blog

最新推荐文章于 2021-01-07 22:01:11 发布

阅读量311

点赞数 1

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/qq_34438629/article/details/111381522

版权

机器学习专栏收录该内容

9 篇文章 0 订阅

订阅专栏

Task04 了解朴素贝叶斯的理论

一、学习内容概括

本文想以一个初学者接触全新概念时的姿态展现其学习过程，力求顺一下自己的思路，不为讲解别人。学习的过程中，会刻意不参考他人的成熟理解，培养自己抽丝剥茧的能力。本文的目标就是了解朴素贝叶斯的理论。

学习资料：

1.阿里云天池-AI训练营机器学习：https://tianchi.aliyun.com/specials/promotion/aicampml?invite_channel=1

2.“朴素贝叶斯”百度百科：https://baike.baidu.com/item/%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF/4925905?fr=aladdin

3.“朴素贝叶斯分类器”维基百科：https://zh.wikipedia.org/wiki/%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%99%A8

二、具体学习内容

Q1：什么是“朴素贝叶斯”？

A1：“朴素贝叶斯”百度百科：https://baike.baidu.com/item/%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF/4925905?fr=aladdin

【朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。

朴素贝叶斯算法（Naive Bayesian algorithm) 是应用最为广泛的分类算法之一。朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。也就是说没有哪个属性变量对于决策结果来说占有着较大的比重，也没有哪个属性变量对于决策结果占有着较小的比重。虽然这个简化方式在一定程度上降低了贝叶斯分类算法的分类效果，但是在实际的应用场景中，极大地简化了贝叶斯方法的复杂性。】

理解：朴素贝叶斯是一种分类方法，基于贝叶斯定理，并且假定特征之间相互条件独立。

Q2：什么是“贝叶斯定理”？

A2：“贝叶斯定理”百度百科：https://baike.baidu.com/item/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86/1185949

【贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。其中P（A|B）是在B发生的情况下A发生的可能性。贝叶斯定理也称贝叶斯推理，早在18世纪，英国学者贝叶斯（1702～1761）曾提出计算条件概率的公式用来解决如下一类问题：假设H[1],H[2]…,H[n]互斥且构成一个完全事件，已知它们的概率P(H[i]),i=1,2,…,n,现观察到某事件A与H[1],H[2]…,H[n]相伴随机出现，且已知条件概率P(A|H[i])，求P(H[i]|A)。

研究意义：人们根据不确定性信息作出推理和决策需要对各种结论的概率作出估计，这类推理称为概率推理。概率推理既是概率学和逻辑学的研究对象，也是心理学的研究对象，但研究的角度是不同的。概率学和逻辑学研究的是客观概率推算的公式或规则；而心理学研究人们主观概率估计的认知加工过程规律。贝叶斯推理的问题是条件概率推理问题，这一领域的探讨对揭示人们对概率信息的认知加工过程与规律、指导人们进行有效的学习和判断决策都具有十分重要的理论意义和实践意义。】

理解：贝叶斯定理是与条件概率有关的定理。

Q3：什么是“条件概率”？

A3：“条件概率”百度百科：https://baike.baidu.com/item/%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87/4475278?fr=aladdin

【条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B的条件下A的概率”。若只有两个事件A、B，那么， $P(A|B)=\frac{P(AB)}{P(B)}$ 。条件概率有几条基本定理。】

【定理3（全概率公式）：先定义样本空间的划分/完备事件组：设B1，B2，…Bn是一组事件，若（1） $\forall i\neq j\in \{1,2,...n\},B_{i}nB_{j}= \varnothing$ （2）B1∪B2∪…∪Bn=Ω ，则称B1，B2，…Bn是样本空间Ω的一个划分，或称为样本空间Ω 的一个完备事件组。定理（全概率公式）：设事件组 $\{B_{i}\}$ 是样本空间Ω 的一个划分，且P（Bi）>0（i=1，2，…n），则对任一事件B，有 $P(A)=\sum_{i=1}^{n}P(A|B_{i})P(B_{i})$ 】

【定理4（贝叶斯公式）：设B1，B2，…Bn…是一完备事件组，则对任一事件A，P（A）>0，有 $P(B_{i}|A)=\frac{P(AB_{i})}{P(A)}=\frac{ P(A|B_{i})P(B_{i})}{\sum _{i} P(A|B_{i})P(B_{i})}$ 】

Q4：回头再去理解朴素贝叶斯

A4.1：朴素贝叶斯算法原理如下：

下一个Task会结合例子实践本算法。

A4.2 资料补充

“朴素贝叶斯分类器”维基百科：https://zh.wikipedia.org/wiki/%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%99%A8

【在机器学习中，朴素贝叶斯分类器是一系列以假设特征之间强（朴素）独立下运用贝叶斯定理为基础的简单概率分类器。】

【在统计学和计算机科学文献中，朴素贝叶斯模型有各种名称，包括简单贝叶斯和独立贝叶斯。所有这些名称都参考了贝叶斯定理在该分类器的决策规则中的使用，但朴素贝叶斯不（一定）用到贝叶斯方法；《Russell和Norvig》提到“‘朴素贝叶斯’有时被称为贝叶斯分类器，这个马虎的使用促使真正的贝叶斯论者称之为傻瓜贝叶斯模型。”】

【简介：朴素贝叶斯是一种构建分类器的简单方法。该分类器模型会给问题实例分配用特征值表示的类标签，类标签取自有限集合。它不是训练这种分类器的单一算法，而是一系列基于相同原理的算法：所有朴素贝叶斯分类器都假定样本每个特征与其他特征都不相关。举个例子，如果一种水果其具有红，圆，直径大概3英寸等特征，该水果可以被判定为是苹果。尽管这些特征相互依赖或者有些特征由其他特征决定，然而朴素贝叶斯分类器认为这些属性在判定该水果是否为苹果的概率分布上独立的。

对于某些类型的概率模型，在监督式学习的样本集中能获取得非常好的分类效果。在许多实际应用中，朴素贝叶斯模型参数估计使用最大似然估计方法；换而言之，在不用到贝叶斯概率或者任何贝叶斯模型的情况下，朴素贝叶斯模型也能奏效。

尽管是带着这些朴素思想和过于简单化的假设，但朴素贝叶斯分类器在很多复杂的现实情形中仍能够获取相当好的效果。2004年，一篇分析贝叶斯分类器问题的文章揭示了朴素贝叶斯分类器获取看上去不可思议的分类效果的若干理论上的原因。尽管如此，2006年有一篇文章详细比较了各种分类方法，发现更新的方法（如决策树和随机森林）的性能超过了贝叶斯分类器。

朴素贝叶斯分类器的一个优势在于只需要根据少量的训练数据估计出必要的参数（变量的均值和方差）。由于变量独立假设，只需要估计各个变量的方法，而不需要确定整个协方差矩阵。】