1.朴素贝叶斯法
基于贝叶斯定理与特征条件独立假设的分类方法;
1.1步骤:
a.给定训练集,基于特征条件独立假设学习输入输出的联合概率分布;
b.基于模型对给定x利用贝叶斯定理求出后验概率最大的输出y。
1.2 先验概率分布及条件概率分布
先验概率分布
P
(
y
=
c
k
)
k
=
1
,
2
,
3...
K
P(y=ck) k=1,2,3...K
P(y=ck)k=1,2,3...K
条件概率分布
P
(
X
=
x
∣
Y
=
c
k
)
=
P
(
X
1
=
x
1
.
.
.
X
n
=
x
n
∣
Y
=
c
k
)
P(X=x|Y=ck)=P(X^1 = x^1...X^n = x^n|Y=ck)
P(X=x∣Y=ck)=P(X1=x1...Xn=xn∣Y=ck)
由条件独立假设(牺牲一定的准确性),上式拆分为
∏
i
=
1
n
P
(
X
i
=
x
i
∣
Y
=
c
k
)
\prod_{i = 1}^{n}P(X^i=x^i|Y=ck)
i=1∏nP(Xi=xi∣Y=ck)
由贝叶斯公式求出后验概率
P
(
Y
=
c
k
∣
X
=
x
)
=
P
(
X
=
x
∣
Y
=
c
k
)
P
(
Y
=
c
k
)
∑
1
n
P
(
(
X
=
x
∣
Y
=
c
k
)
P
(
Y
=
c
k
)
P(Y=ck|X=x)=\frac{P(X=x|Y=ck)P(Y=ck)}{\sum_{1}^{n}P((X=x|Y=ck)P(Y=ck)}
P(Y=ck∣X=x)=∑1nP((X=x∣Y=ck)P(Y=ck)P(X=x∣Y=ck)P(Y=ck)
后验概率最大的类即x的类输出
由
P
(
X
=
x
∣
Y
=
c
k
)
P(X=x|Y=ck)
P(X=x∣Y=ck)已知,得到朴素贝叶斯分类器为
y
=
f
(
x
)
=
a
r
g
m
a
x
c
k
P
(
Y
=
c
k
∣
X
=
x
)
=
P
(
Y
=
c
k
)
∏
i
=
1
n
P
(
X
i
=
x
i
∣
Y
=
c
k
)
∑
1
n
P
(
Y
=
c
k
)
∏
i
=
1
n
P
(
X
i
=
x
i
∣
Y
=
c
k
)
y=f(x)=arg max_{ck}P(Y=ck|X=x)=\frac{P(Y=ck)\prod_{i = 1}^{n}P(X^i=x^i|Y=ck)}{\sum_{1}^{n}P(Y=ck)\prod_{i = 1}^{n}P(X^i=x^i|Y=ck)}
y=f(x)=argmaxckP(Y=ck∣X=x)=∑1nP(Y=ck)∏i=1nP(Xi=xi∣Y=ck)P(Y=ck)∏i=1nP(Xi=xi∣Y=ck)
由于分母为常量,因此可以简化为
y
=
f
(
x
)
=
a
r
g
m
a
x
c
k
P
(
Y
=
c
k
∣
X
=
x
)
=
P
(
Y
=
c
k
)
∏
i
=
1
n
P
(
X
i
=
x
i
∣
Y
=
c
k
)
y=f(x)=arg max_{ck}P(Y=ck|X=x)=P(Y=ck)\prod_{i = 1}^{n}P(X^i=x^i|Y=ck)
y=f(x)=argmaxckP(Y=ck∣X=x)=P(Y=ck)i=1∏nP(Xi=xi∣Y=ck)
取后验概率最大化的原因:等价于期望风险最小化
1.3 极大似然估计
使用极大似然估计进行参数估计,即得到该结果最有可能的参数值
1.4 贝叶斯估计
极大似然估计可能会出现0值,将影响后验概率结果(目标函数取的是乘积)
使用贝叶斯估计
即
在
分
子
加
λ
分
母
加
入
S
j
λ
即在分子加\lambda分母加入S_j\lambda
即在分子加λ分母加入Sjλ
确保分数大于零且和依旧为1
P
λ
(
x
i
=
a
j
l
∣
Y
=
c
k
)
=
P
(
x
i
=
a
j
l
,
y
=
c
k
)
+
λ
P
(
y
=
c
k
)
+
S
j
λ
P_\lambda(x^i=a_jl|Y=ck)=\frac{P(x^i=a_jl,y=ck)+\lambda}{P(y=ck)+S_j\lambda}
Pλ(xi=ajl∣Y=ck)=P(y=ck)+SjλP(xi=ajl,y=ck)+λ
i为X中第i个变量,l为可能取的值([1,Sj])
λ
一
般
取
1
,
即
拉
普
拉
斯
平
滑
\lambda一般取1,即拉普拉斯平滑
λ一般取1,即拉普拉斯平滑