概率论基础知识
条件概率:
P(B|A)=P(AB)P(A)
P
(
B
|
A
)
=
P
(
A
B
)
P
(
A
)
乘法公式:
P(AB)=P(A)P(B|A)=P(B)P(A|B)
P
(
A
B
)
=
P
(
A
)
P
(
B
|
A
)
=
P
(
B
)
P
(
A
|
B
)
全概率公式:
P(B)=∑iP(Ai)P(B|Ai)
P
(
B
)
=
∑
i
P
(
A
i
)
P
(
B
|
A
i
)
贝叶斯公式:
P(Ai|B)=P(AiB)P(B)=P(Ai)P(B|Ai)∑jP(Aj)P(B|Aj)
P
(
A
i
|
B
)
=
P
(
A
i
B
)
P
(
B
)
=
P
(
A
i
)
P
(
B
|
A
i
)
∑
j
P
(
A
j
)
P
(
B
|
A
j
)
(P(Ai)为先验概率P(Ai|B)为后验概率)
(
P
(
A
i
)
为
先
验
概
率
P
(
A
i
|
B
)
为
后
验
概
率
)
1、贝叶斯分类器
某个体A有n项特征:x=(x1;x2;⋅⋅⋅⋅⋅⋅xn)
某
个
体
A
有
n
项
特
征
:
x
=
(
x
1
;
x
2
;
·
·
·
·
·
·
x
n
)
总共有m种可能的类别:c1、c2⋅⋅⋅⋅⋅⋅cm
总
共
有
m
种
可
能
的
类
别
:
c
1
、
c
2
·
·
·
·
·
·
c
m
已知A的特征,求A所属的类别
P(c|x)=P(c)P(x|c)P(x)(1)
(1)
P
(
c
|
x
)
=
P
(
c
)
P
(
x
|
c
)
P
(
x
)
求使上式最大的种类c
对于条件概率P(x|c),涉及关于x所有属性的联合概率,对其估计将非常困难,例如样本d个属性都是二值的,则样本空间将有2d种取值,而现实生活中的样本空间将会更大,因而会有很多样本在训练集中根本没有出现(“未被观测到”与“出现概率为0”通常是不同的) 对 于 条 件 概 率 P ( x | c ) , 涉 及 关 于 x 所 有 属 性 的 联 合 概 率 , 对 其 估 计 将 非 常 困 难 , 例 如 样 本 d 个 属 性 都 是 二 值 的 , 则 样 本 空 间 将 有 2 d 种 取 值 , 而 现 实 生 活 中 的 样 本 空 间 将 会 更 大 , 因 而 会 有 很 多 样 本 在 训 练 集 中 根 本 没 有 出 现 ( “ 未 被 观 测 到 ” 与 “ 出 现 概 率 为 0 ” 通 常 是 不 同 的 )
2、朴素贝叶斯分类器
为了解决上述问题,就有了朴素贝叶斯分类器,它基于一条新的假设对已知类别,假设所有属性相互独立
为
了
解
决
上
述
问
题
,
就
有
了
朴
素
贝
叶
斯
分
类
器
,
它
基
于
一
条
新
的
假
设
对
已
知
类
别
,
假
设
所
有
属
性
相
互
独
立
基于上述假设,公式(1)可写成
基
于
上
述
假
设
,
公
式
(
1
)
可
写
成
P(c|x)=P(c)P(x|c)P(x)=P(c)P(x)∏ni=1P(xi|c)(2)
(2)
P
(
c
|
x
)
=
P
(
c
)
P
(
x
|
c
)
P
(
x
)
=
P
(
c
)
P
(
x
)
∏
i
=
1
n
P
(
x
i
|
c
)
求(2)的最大值可转化为求P(c)∏ni=1P(xi|c)
求
(
2
)
的
最
大
值
可
转
化
为
求
P
(
c
)
∏
i
=
1
n
P
(
x
i
|
c
)
最大值
朴素贝叶斯分类器的训练就是通过训练集来估计先验概率
P(c)和每个特征的条件概率P(xi|c)
P
(
c
)
和
每
个
特
征
的
条
件
概
率
P
(
x
i
|
c
)
假设训练集为D,Dc表示训练集中第c类样本组成的集合
假
设
训
练
集
为
D
,
D
c
表
示
训
练
集
中
第
c
类
样
本
组
成
的
集
合
P(c)=|Dc||D|
P
(
c
)
=
|
D
c
|
|
D
|
对于离散特征而言
P(xi|c)=|Dc,xi||D|
P
(
x
i
|
c
)
=
|
D
c
,
x
i
|
|
D
|
对于连续特征而言,假定
p(xi|c)
p
(
x
i
|
c
)
~
N(uc,i,σ2c,i)
N
(
u
c
,
i
,
σ
c
,
i
2
)
uc,i和σ2c,i为第c类样本在第i个特征上取值的均值和方差
u
c
,
i
和
σ
c
,
i
2
为
第
c
类
样
本
在
第
i
个
特
征
上
取
值
的
均
值
和
方
差
3、半朴素贝叶斯分类器
朴素贝叶斯分类器的“特征条件独立性假设”在现实中很难成立,因此人们尝试对此假设进行一定程度的放松
4、贝叶斯网
借助有向无环图来刻画特征之间的依赖关系,使用条件概率表来描述属性的联合概率分布
5、EM算法
现实中,训练样本可能存在不能被观测到的样本特征(隐变量),EM算法考虑了这些未观测变量,并用迭代的方法对这些隐变量进行估计