朴素贝叶斯分类器(Naive Bayes，NB)

朴素贝叶斯分类器

  朴素贝叶斯分类器模型属于监督学习模型，是概率模型和生成模型。简而言之，就是先学习类条件概率$p(x|y)$与先验概率$p(y)$，根据$p(x|y)$与$p(y)$利用贝叶斯公式求得$p(x,y)$，最后得到$p(y|x)$的相对大小。

---

贝叶斯定理

$$p(c_i|w)=\frac{p(w,c_i)}{p(w)}=\frac{p(w|c_i)p(c_i)}{p(w)}$$
  其中，$p(c_i|w)$为后验概率，$p(c_i)$为先验概率，$p(w|c_i)$在NB中称为类条件概率，$p(w,c_i)$为联合概率。

---

统计学习方法三要素

模型

  贝叶斯定理，对于输入训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) … ( x N , y N ) } T=\{(x_{1},y_{1}),(x_{2},y_{2}),(x_{3},y_{3}) \dots (x_{N},y_{N})\} T={ (x1​,y1​),(x2​,y2​),(x3​,y3​)…(xN​,yN​)}， y ∈ { c 1 , c 2 … c K } y \in \{c_{1},c_{2} \dots c_{K}\} y∈{ c1​,c2​…cK​}
$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}$$
  

策略

   后验概率最大，即$arg\underset{y_k}{\max }p(y_k|x_i)$，$y_k$即为$x_i$的最终分类， y k ∈ { c 1 , c 2 , c 3 … c K } y_{k}\in \{c_{1},c_{2},c_{3} \dots c_{K}\} yk​∈{ c1​,c2​,c3​…cK​}，后验概率最大等价于期望损失最小，下面简单证明一下这个结论：
  以0-1损失函数为例：
$$L(y,f(x))=\{\begin{array}{ll}0& y=f(x)\\ 1& y̸=f(x)\end{array}$$
  其期望风险函数为(这里概率用的后验概率)
$$\begin{array}{rl}{R}_{exp}(f)& =\sum _{y_k=c_1}^{c_K}L(y_k,f(x_i))p(y_k|x_i)\\ & =p(y_k̸=f(x_i)|x_i)\\ & =1-p(y_k=f(x_i)|x_i)\end{array}$$

  可见，要使得