![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
贝叶斯分类器
文章平均质量分 78
Vicky_xiduoduo
这个作者很懒,什么都没留下…
展开
-
机器学习算法——贝叶斯分类器6(sklearn中的朴素贝叶斯)
朴素贝叶斯公式为:在贝叶斯中,P(x)是先验概率,一般很容易求得。所以需要重点求解贝叶斯概率公式中的分子。但是,在现实中,要求解也会有各种各样的问题。我们可能面临的特征非常多,这需要极多的计算资源。也有可能出现某一个概率为0的情况,分子就会为0,这种情况下的概率会导致整个概率的估计为0。求解连续型变量的概率,需要引入各种概率论中的数字分布,使用各种分布下的概率密度曲线来估计一个概率。其中涉及的数学过程是极其复杂的,要求熟悉概率论和微积分。我们最常用的几个分布为:高斯分布、伯努利分布和多项式.原创 2022-05-02 16:35:34 · 2246 阅读 · 0 评论 -
机器学习算法——贝叶斯分类器3(朴素贝叶斯分类器)
基于贝叶斯公式来估计后验概率P(c|x)的主要困难在于:类条件概率P(x|c)是所有属性上的联合概率,难以从有限的训练样本直接估计而得。为避开这个障碍,朴素贝叶斯分类器(Naive Bayes classfier)采用了“属性条件独立性假设”:对已知类别,假设所有属性相互独立。换句话说,每个属性独立地对分类结果产生影响。基于属性条件独立性假设,可重写P(c|x)其中,d为属性数目,为x在第i个属性上的取值。由于对所有类别来说P(x)相同,则贝叶斯判定准则为(即朴素贝叶斯分类器的表达式):原创 2022-04-28 17:29:30 · 6815 阅读 · 2 评论 -
机器学习算法——贝叶斯分类器5(EM算法)
在前面的讨论中,我们一直假设训练样本所有属性变量的值都已被观测到,即训练样本是“完整”的,但在实际应用中往往会遇到“不完整”的训练样本,例如由于西瓜的根蒂已脱落,无法看出是“蜷缩”还是“硬挺”,则训练样本的“根蒂”属性变量值未知。这种存在“未观测”变量的情形下,是否仍能对模型参数进行估计呢?未观测变量的学名是“隐变量”,令X表示已观测变量集,Z表示隐变量集,表示模型参数。若对做极大似然估计,则应最大化对数似然由于Z是隐变量,上式无法直接求解。此时我们可通过对Z计算期望,来最大化已观测数据的对原创 2022-04-30 07:00:00 · 906 阅读 · 0 评论 -
机器学习算法——贝叶斯分类器4(半朴素贝叶斯分类器)
为了降低贝叶斯公式中估计后验概率的困难,朴素贝叶斯分类器采用了属性条件独立性假设,但在现实任务中这个假设往往很难成立。于是,人们尝试对属性条件独立性假设进行一定程度的放松,由此产生了一类称为“半朴素贝叶斯分类器”的学习方法。半朴素分类器的基本思想是适当考虑一部分属性间的相互依赖信息,从而既不需进行完全联合概率计算,又不至于彻底忽略了比较强的属性依赖关系。“独依赖估计”(One-Dependent Estimator,ODE)是半朴素贝叶斯分类器常用的一种策略。即假设每个属性在类别之外最多仅依赖于一个其它原创 2022-04-29 10:22:32 · 2133 阅读 · 1 评论 -
机器学习算法——贝叶斯分类器2(极大似然估计)
在机器学习算法——贝叶斯分类器1(贝叶斯决策论)_Vicky_xiduoduo的博客-CSDN博客中讲到,求后验概率P(c|x),有两种策略,一种是判别式模型,一种是生成式模型,其中P(x|c)是样本x相对于类标记c的类条件概率或称为“似然”。 似然P(x|c),由于涉及关于x所有属性的联合概率,直接根据样本出现的频率来估计会遇到严重的困难。所以估计类条件概率一般常用得策略是先假定其具有某种确定得概率分布形式,再基于训练样本对概率分布的参数进行估计。记关于类别c的类条件概率P(x|c),假设原创 2022-04-28 15:24:50 · 1154 阅读 · 0 评论 -
机器学习算法——贝叶斯分类器1(贝叶斯决策论)
贝叶斯决策论是概率框架下实施决策的基本方法。对于分类任务来说,在所有相关概率都已知的理想情形下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。以多分类任务为例解释其基本原理。1. 先验概率(Prior probability)先验概率是指根据以往经验和分析得到的概率,反映了我们在实际观察之前对某种状态的预期。先验概率记作:我们能否可以基于先验做出决策?(决策规则是基于输入所采取的特定行动)答案是肯定的,但是局限性比较大。因为①先验不考虑其它因素,总是做出同样原创 2022-04-27 16:43:58 · 1603 阅读 · 0 评论