全概率公式:
贝叶斯定理:,,
对于分类模型,X,y。X有n维特征各自独立,y有k类(k个取值)。
独立性假设:
用于分类的特征在类确定下来的情况下都是独立的。
分母都一样,P(yk)根据数据分布求,分子第一项的求法有两种。
- x的特征离散时,表示为这一类样本中某个特征等于某个取值的概率。(多项式模型,取值次数;伯努利模型:是否出现。)
- x的特征连续时,假设特征高斯分布,对每一类样本求均值和方差,求条件概率。
特点:
优点:条件概率数量大为减少(独立性假设),学习和预测大为简化。
缺点:分类性能不一定高。
利用贝叶斯定理与学到的联合概率模型进行分类预测,将输入x分到后验概率最大的类y。
后验概率最大等价于0-1损失函数的期望风险最小化。