matlab贝叶斯判别后验概率,统计学习方法——朴素贝叶斯法、先验概率、后验概率(示例代码)...

朴素贝叶斯法，就是使用贝叶斯公式的学习方法，朴素就是它假设输入变量(向量)的各个分量之间是相互独立的。所以对于分量之间不独立的分布，如果使用它学习和预测效果就不会很好。

简化策略

它是目标是通过训练数据集学习联合概率分布$P(X, Y)$用来预测。书上说，具体是先学习到先验概率分布以及条件概率分布，分别如下：(但我认为，直接学习$P(X, Y)$就行了，它要多此一举算出这两个再乘起来变成$P(X, Y)$，但其实计算量差不多，可能这样更好理解吧)

$P(Y = c_k), k = 1, 2, 3, ..., K$

$P(X = x|Y = c_k) = P(X^{(1)} = x^{(1)}, ..., X^{(n)} = x^{(n)}|Y = c_k), k = 1, 2, 3, ..., K$

其中输入空间$mathcal{X} subseteq R^n$为$n$维向量的集合，输出空间为标记集合$mathcal{Y} = {c_1, c_2, ..., c_K}$。

上面提到了先验概率分布，这里记一下先验概率分布与后验概率分布。先验概率分布与后验概率分布是相对而言的量，通常是要放在一起讨论的。如：$P(Y)$是直接测量的，或是我们经验中所认为的$Y$的概率分布，而当我们测量$X$后，条件概率分布$P(Y|X)$就是发生$X$后$Y$的后验概率分布。

书中说，因为条件概率分布$P(X = x|Y = c_k)$有指数级数量的参数，它的估计实际不可行(实际上样本的数量也不够支撑那么多参数之间的潜在交叉关系)。事实上，假设$x^{(j)}$可取值有$S_j$个，j = 1, 2,…