1、模型原理
1、原理:基于概率论的方法,计算一个样本x属于某个类别c的概率最大,即计算P(c│x)的最大值,即样本x分到类别c中的概率最大
1-1.png
。
2、计算步骤:
第一步,通过条件概率,可以转化为
1-2.png
。但由于很多样本取值在训练集中根本没有出现,即很多P(x│c)=0,因此直接使用频率来估计P(x│c) 显然不可行,因为"未被观测到"与"出现概率为零"通常是不同的.
第二步,假设概率密度P(x│c)符合某种确定的概率分布形式,再基于训练样本对概率分布的函数进行极大似然估计,就是在所有可能的参数Θ中,寻找一个能使训练数据出现的“可能性”最大的值。
比如假定在连续属性情形下,数据的概率密度函数P(x│c)符合正态分布,那问题就转化为了,知道一系列的属性数据,估计正态分布的均值、方差两个参数(因为均值、方差两个参数确定了,该正态分布函数也就确定了),再然后就等于是参数都知道了,然后计算在x处的概率密度,即P(x│c)就知道了。
第三步,
1-3.png
中,p(ci)就是一个类别的占比,比如好瓜占西瓜总数的比例,根据第二步P(x│ci)也求出来了,再计算样本x下,哪个P(