对贝叶斯分类来说,考虑如何基于概率和误判损失来选择最优的类别标记。
贝叶斯公式
判别式:给定x,直接建模p(c|x)来预测c,例如决策树、BP神经网络、支持向量机
生成式:先对联合概率分布p(x,c)建模,再得到p(c|x),例如贝叶斯。
:先验概率,样本所占样本空间的比例。先验概率是指我们主观通过事件发生次数对概率的判断。
:泳衣归一化的证据因子
:条件概率,或似然。
:后验概率
由此,将估计后验概率 的问题转化为估计先验概率
和似然
极大似然估计 MLE(概率主义学派)
参数估计有两种解决方案:
1)概率主义学派:参数客观存在固定值。经典方法:极大似然估计
2)贝叶斯学派:参数服从先验分布,基于观察的数据计算参数的后验分布
极大似然估计,就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值。即:“模型已定,参数未知”。
假设样本独立同分布,对样本集D,联合概率密度函数p(D|θ)称为θ的似然函数。似然函数则为:
极大似然估计:求使得出现该组样本的概率最大的θ值。
取对数之后,两数乘积的对数等于各自的对数之和:
如果未知参数只有一个(θ为标量),似然函数满足连续、可微的正则条件下直接求导,
如果未知参数有多个(θ为向量),,梯度算子为
,若似然函数满足连续可导的条件,则最大似然估计量就是如下方程的解:
求最大似然估计量的一般步骤:
(1)写出似然函数;
(2)对似然函数取对数,并整理;
(3)求导数;
(4)解似然方程。
朴素贝叶斯分类器
朴素贝叶斯的前提是:贝叶斯定理、特征条件独立假设。
估计后验概率 的问题转化为估计先验概率
和似然
,但是似然
难以从有限的样本直接估计到。
因而,朴素贝叶斯做了“属性条件独立性假设”,假设所有的属性相互独立。
对于所有的类别来说,p(x)相同,表达式为
如果某个属性值未出现,一般用“拉普拉斯平滑”:
表示类别数目,即标签数目;
表示第i个属性可能的取值数目。