一、贝叶斯理论
通过已知类别的训练数据集,计算样本的先验概率,然后利用贝叶斯概率公式测算未知类别样本属于某个类别的后验概率,最终以后验概率所对应的类别作为样本的预测值。
贝叶斯公式:
y = f ( X ) = P ( C i ∣ X ) = a r g m a x P ( C i ) P ( X ∣ C i ) ∑ i = 1 k P ( C i ) P ( X ∣ C i ) y=f(X)=P(C_i|X)=argmax\frac{P(C_i)P(X|C_i)}{\sum_{i=1}^kP(C_i)P(X|C_i)} y=f(X)=P(Ci∣X)=argmax∑i=1kP(Ci)P(X∣Ci)P(Ci)P(X∣Ci)
分母 P ( X ) = ∑ i = 1 k P ( C i ) P ( X ∣ C i ) P(X)=\sum_{i=1}^kP(C_i)P(X|C_i) P(X)=∑i=1kP(Ci)P(X∣Ci) 是一个常量,它与样本属于哪个类别没有直接关系,所以计算 P ( C i ∣ X ) P(C_i|X) P(Ci∣X)的最大值就是计算分子的最大值,即 a r g m a x P ( C i ) P ( X ∣ C i ) argmax\ P(C_i)P(X|C_i) argmax P(Ci)P(X∣Ci);
在大多数情况下, P ( C i ) P(C_i) P(Ci)是已知的,它以训练数据集中类别 C i