一.先验概率和后验概率理解:
先验:统计层次上的经验而知当下发生的概率;
后验:当下由因及果的概率;
举例:
1)先验——根据若干年的统计(经验)或者气候(常识),某地方下雨的概率;
2)似然——下雨(果)的时候有乌云(因)的概率,即已经有了果,对证据发生的可能性描述;
3)后验——根据天上有乌云(原因),下雨(结果)的概率;
后验 ~ 先验*似然 : 存在下雨的可能(先验),下雨之前会有乌云(似然)~ 通过现在有乌云推断下雨概率(后验);
先验分布:根据一般的经验认为随机变量应该满足的分布
后验分布:通过当前训练数据修正的随机变量的分布,比先验分布更符合当前数据
似然估计:已知训练数据,给定了模型,通过让似然性极大化估计模型参数的一种方法
后验分布往往是基于先验分布和极大似然估计计算出来的。
二.朴素贝叶斯方法:
1. 朴素贝叶斯方法要求各特征之间是独立的;朴素贝叶斯是有监督学习算法;朴素贝叶斯要求y的取值是离散的。
2.根据贝叶斯公式可以得到
在X=x条件下,求得每一个y取值的概率(后验概率),然后取其中最大的一个的值,作为X的预测值;
模型公式为
三.朴素贝叶斯原理:
假设模型损失函数选择0-1损失函数
期望风险函数如下
推导如下:
即选择后验概率最大的预测值,使得损失函数最小;
三.算法流程:
1.计算先验概率和条件概率:
这个应该是构建模型是完成
条件概率,应该是构造这样的一个数组:
x0 | x1 | x2 | |
y0 | dict | dict | |
y1 |
2.给定实例X,计算
、
3.确定实例的类别:
四.三种常见的模型及编程实现
1 多项式模型
当特征是离散的时候,使用多项式模型。多项式模型在计算先验概率P(yk)P(yk)和条件概率P(xi|yk)P(xi|yk)时,会做一些平滑处理,具体公式为:
P(yk)=Nyk+