判别模型
判别模型会学习出特征X和输出Y之间的关系,一般这种关系就两种
- Y = F ( X ) Y = F(X) Y=F(X)
- P ( Y ∣ X ) P(Y | X) P(Y∣X)
生成模型
直接求出X和Y的联合分布 P ( X , Y ) P(X,Y) P(X,Y),然后结合贝叶斯公式 P ( Y ∣ X ) = P ( X , Y ) / P ( X ) P(Y|X)=P(X,Y)/ P(X) P(Y∣X)=P(X,Y)/P(X)。朴素贝叶斯模型是生成模型。那么该模型的 P ( X , Y ) P(X,Y) P(X,Y)怎么计算呢,从概率图模型基本知识中可以知道,对于图模型,给予一些相应的假设,就会得到一些不同的经典模型。朴素贝叶斯=贝叶斯公式 + 条件独立假设 。
条件独立假设
P
(
A
∣
B
,
C
)
=
P
(
A
∣
B
)
P
(
A
∣
C
)
P(A|B,C)=P(A|B)P(A|C)
P(A∣B,C)=P(A∣B)P(A∣C)
P
(
Y
∣
X
1
,
X
2
,
X
2
,
.
.
.
X
n
)
=
P
(
Y
∣
X
1
)
P
(
Y
∣
X
2
)
.
.
.
P
(
Y
∣
X
n
)
P(Y|X_1,X_2,X_2,...X_n)=P(Y|X_1)P(Y|X_2)...P(Y|X_n)
P(Y∣X1,X2,X2,...Xn)=P(Y∣X1)P(Y∣X2)...P(Y∣Xn)