以下理论都是基于西瓜书中对贝叶斯分类器章节的个人理解与整理,如果有问题,也欢迎大家一起进行讨论。
一、贝叶斯决策论
对于贝叶斯决策论而言,我们希望可以得到一个使总体风险最小化的决策。那么对于风险的定义,有如下公式表示:
公式样本被分类成
的条件风险,而
表示真实标记为
的输入样本
被误分类成
的损失,
表示后验概率,
是输入样本总数。那么贝叶斯分类器的优化目标就是使条件风险最小化。
在这样一种情况下,如何获取后验概率即是机器学习模型需要学习到的东西。一般来说,这里有两种获取模式。第一种是判别式模型直接得到(BP神经网络、SVM。具体获取方法之后再补)。而对于生成式模型,通过我们概率论中的贝叶斯定理,可以将后验概率的获取转为如下公式:
是先验概率(prior),就是不管输入如何,我只统计我最后分类结果出现的概率情况,
和标签类别无关,所以我们在计算的时候不需要考虑,那么我们重点关注的便是似然概率
(likelihood)。
二、极大似然概率
假设概率具有确定的形式并且被参数向量
,那么我们训练模型的目标就是基于训练集优化找到最优参数
。
极大似然估计就是通过训练数据采样估计概率分布参数。用表示训练集
中属于第
类样本组成的集合,假设这些样本是独立同分布的,那么参数
对于数据集
的似然是:
由于连乘容易造成下溢,通常使用对数似然,将累乘转为累加:
优化目标是找到使损失函数最大的参数。
三、朴素贝叶斯分类器
前面说到贝叶斯决策最大的难点在于似然概率的获取。那么为了解决这个问题,朴素贝叶斯分类器采用了“属性条件独立性假设”,那么后验概率公式可以改写成:
其中,d表示属性数目,为
在第
个属性上的取值。
那么在已经做了属性条件独立的假设前提下,属性条件概率计算可以通过下式获得:
其中,表示
中在第
个属性上取值为
的样本组成的集合。
四、贝叶斯网络
贝叶斯网也叫做信念网(belief network),是一种经典的概率图模型。
若网络结构一直,那么属性之间的依赖关系也是已知,那么贝叶斯网的学习过程通过对训练样本计数计算条件概率。然而,实际中贝叶斯网络的的结构并不事先知道,那么我们就需要根据训练数据来找到最“恰当的”网络结构。评分搜索是解决这一问题的常用方法(类似于损失函数)。
常用的评分函数通常基于信息论,学习目标是找到一个能以最短编码长度描述训练数据的模型。那么给定训练集,对于贝叶斯网
的评分函数可以写成:
其中,是每个参数
所需编码为数,
是贝叶斯网的参数个数