注意区别:朴素贝叶斯和贝叶斯推理(主观贝叶斯、贝叶斯网络)不是同一个概念
朴素贝叶斯的思想
求解一个联合概率分布 P ( X , Y ) P(X,Y) P(X,Y)需要首先得到先验概率分布 P ( Y = c i ) P(Y=c_i) P(Y=ci)和条件概率分布 P ( X = x ∣ Y = c i ) = P ( X = x 1 , X = X 2 , . . . , X = x n ∣ Y = c i ) P(X=x|Y=c_i) = P(X=x_1,X=X_2,...,X=x_n|Y=c_i) P(X=x∣Y=ci)=P(X=x1,X=X2,...,X=xn∣Y=ci),而这个条件概率分布参数量很大,为了减小计算量,朴素贝叶斯(Naive Bayes)做了条件概率分布独立的假设,在类确定的条件下都是条件独立的。故 P ( X = x 1 , X = X 2 , . . . , X = x n ∣ Y = c i ) = ∏ j = 1 n P ( X = x j ∣ Y = c i ) P(X=x_1,X=X_2,...,X=x_n|Y=c_i) = \prod_{j=1}^{n}P(X=x_j|Y=c_i) P(X=x1,X=X2,...,X=xn∣Y=ci)=j=1∏nP(X=xj∣Y=ci)
贝叶斯公式
P
(
B
i
∣
A
)
=
P
(
A
∣
B
i
)
P
(
B
i
)
P
(
A
)
P(B_i|A) = \dfrac{P(A|B_i)P(B_i)}{P(A)}
P(Bi∣A)=P(A)P(A∣Bi)P(Bi)
似然:
L
(
B
i
∣
A
)
=
C
∗
P
(
A
∣
B
i
)
L(B_i|A)=C*P(A|B_i)
L(Bi∣A)=C∗P(A∣Bi),似然函数的绝对数值没有意义
后验概率
P
(
B
∣
A
)
P(B|A)
P(B∣A):体现的是由果求因,即知道结果的情况下,推断某件事情发生概率是多大,也称为条件概率。
先验概率
P
(
B
)
P(B)
P(B):在没有任何先验知识下的概率,比如第一枚硬币,正反面的概率都为0.5